JP2004362483A - Method for recognizing character, symbol and graphic, program for this method, computer readable recording medium with this program recorded thereon and character/symbol/graphic recognition system - Google Patents
Method for recognizing character, symbol and graphic, program for this method, computer readable recording medium with this program recorded thereon and character/symbol/graphic recognition system Download PDFInfo
- Publication number
- JP2004362483A JP2004362483A JP2003163078A JP2003163078A JP2004362483A JP 2004362483 A JP2004362483 A JP 2004362483A JP 2003163078 A JP2003163078 A JP 2003163078A JP 2003163078 A JP2003163078 A JP 2003163078A JP 2004362483 A JP2004362483 A JP 2004362483A
- Authority
- JP
- Japan
- Prior art keywords
- data
- character
- handwritten
- image
- symbol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、描かれた文字や記号あるいは図形を認識しその文字や記号あるいは図形の手本と照合して評価する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録した記録媒体と文字、記号及び図形認識システムに関する。
【0002】
【従来の技術】
従来、文字や記号あるいは図形などをタブレットなどに描き、その内容について読み取り、その内容に基づいて採点などの評価を行う装置について数多く発明されている。
例えば、特許文献1には「自動採点システム」として「外部から入力される記述解答文である画像データを文字認識し、類似する文字数に応じた複数の解答文候補を出力する文字認識手段と、この文字認識手段からの各解答文候補をそれぞれ言語解析して解答モデルを作成する言語解析手段と、この解答文候補のモデルと予め格納されている問題の模範解答とを比較し正解の有無を判定する解答判定手段と、この解答判定手段により正解と判定された解答に対し、予め定める配点に従って採点処理する採点処理手段と」を備える技術が開示されている。
このような技術によれば、単なる択一問題のみならず言語解析によって解答として記載された文章の内容が明確化され、模範解答と照らして正解であるか否かの判断を下すことが可能となる。
【0003】また、特許文献2には、「自動採点方法及びそのシステム」として「撮像手段により用紙の記入欄中に記載された文字情報を撮像し、該文字撮像データに基づいて各記入欄に記載された文字情報を文字認識した後、各記入欄の認識文字データと各記入欄に対応して予め記憶された基準データとを照合して正誤を判別し、正しいと判断された記入欄に対応して予め記憶された該記入欄の得点を加算処理して総得点を算出可能にする技術が開示されている。
このような技術によれば、所定の用紙の記入欄に記載された文字情報を文字認識して基準データと比較するため、マークシート方式や多枝択一問題方式の解答のみならず、文章による解答においても採点が可能となる。
【0004】さらに特許文献3には、「筆記データ入力装置およびそのプログラム記録媒体」が開示されている。この技術では記入シートに手書き記入欄が形成されており、この手書き記入欄をタブレット上の入力域として定義し、この手書き記入欄に筆記された情報を筆記データとして取り込んで文字認識する。従って、この手書き記入欄に採点結果などの記入作業を行うことで新たにキー入力によって結果の集計を行う必要がなくなる。
【0005】
【特許文献1】
特開2001−56634号公報
【特許文献2】
特開2001−154573号公報
【特許文献3】
特開平11−31046号公報
【0006】
【発明が解決しようとする課題】
上述のこれらの文字認識技術においては、特許文献1及び特許文献2に開示された技術では、文字全体の羅列の認識をベースとして、その文章の内容を解析するものであり、正答とされるものも複数の文字を含むものである。従って、文字や記号など1つ1つの良否はそれほど問題ではなく、解析の対象となる手書きの文字の大きさと模範解答や基準データに含まれる文字の大きさに整合性がなくとも正解であるか不正解であるかについては解析が可能である。
【0007】しかしながら、個々の文字や記号、あるいは図形についてその正誤を判断する場合には、それらを構成する画毎あるいは部分毎に比較する必要があり、そのためにはまず手書きの文字等と模範とされる文字等の大きさを統一する必要がある。このような点を鑑みた技術については記載されておらず、手書きの文字等自体が誤記であるか否か、正しい文字等の場合であれば書き順や形状を認識してその良否を判断することができないという課題があった。
【0008】また、特許文献3に開示された技術では、採点エリアから文字を切り出して文字認識し数値化して得点を計算するが、その文字の内容は、数字であったり○や×といった記号であったりする。この特許文献3に開示された技術では、得点を計算して別途キー入力を省略できる装置を提供するものであるため、特許文献1や2に開示された技術と同様に文字等の認識は、その大きさやあるいは形状の良否まで深く行う必要がなく、単に誤認を行うことがないように実行されることが望まれるのみである。従って、本特許文献に開示された技術においても、手書きの文字等自体の書き順や成立性、あるいは形状について認識してその良否について判断することができないという課題があった。
【0009】本発明はかかる従来の事情に対処してなされたものであり、手書きの文字、記号あるいは図形をデジタル化し、手本と画毎に比較照合してその正誤又は正答度を判断する文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体と文字、記号及び図形認識システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の発明である文字、記号及び図形認識方法は、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手本の文字、記号又は図形をデジタル化した標準データと手書きデータを画毎に比較照合して前記手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを有するものである。
上記構成の文字、記号及び図形認識方法においては、手書きデータと標準データを画毎に比較照合することによって、文字や記号、図形を構成要素に分解した上で、それらの正誤や正答度が判断されるという作用を有する。
【0011】また、請求項2に記載の発明である文字、記号及び図形認識方法は、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手本の文字、記号又は図形をデジタル化した標準データと前記手書きデータを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、倍率を用いて手書きデータを変換して変換データを生成する工程と、この変換データと標準データとを画毎に照合して手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程を有するものである。
上記構成の文字、記号及び図形認識方法においては、倍率が、手書きデータを変換して標準データと比較照合可能な変換データに生成されるように作用する。
【0012】請求項3に記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手書きデータを第1の記録媒体に格納する工程と、予め第2の記録媒体に格納された手本の文字、記号又は図形をデジタル化した標準データを読み出して、第1の記録媒体から読み出した手書きデータを画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを実行させるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項1に記載の発明を、コンピュータを作動させるプログラムとして表現したものであり、その作用は同様である。
【0013】また、請求項4に記載の発明である文字、記号及び図形認識プログラムは、コンピュータに、手書きの文字、記号又は図形を読み取りデジタル化した手書きデータを生成する工程と、手書きデータを第1の記録媒体に格納する工程と、予め第2の記録媒体に格納された手本の文字、記号又は図形をデジタル化した標準データを読み出して、第1の記録媒体から読み出した手書きデータを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める工程と、倍率を用いて前記手書きデータを変換して変換データを生成する工程と、変換データを第3の記録媒体に格納する工程と、変換データと標準データを第3の記録媒体と第2の記録媒体からそれぞれ読み出して画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する工程と、手書きの文字、記号又は図形の正誤及び正答度を出力する工程とを実行させるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項2に記載の発明をコンピュータを作動させるプログラムとして表現したものであり、その作用は同様である。
【0014】また、請求項5に記載の発明である文字、記号及び図形認識プログラムは、請求項4に記載の発明の倍率を用いて手書きデータを変換して変換データを生成する工程において、変換データの座標点データ数が標準データの座標点データ数と略同一となるものである。従って、請求項4に記載の発明の作用以上に、座標点データを略逐一対照させるという作用を有する。
【0015】請求項6記載の発明である文字、記号及び図形認識プログラムは、請求項3乃至5のいずれか1に記載の発明において、標準データが文字の画毎にデジタル化された座標点データを有し、読み取られる手書きの文字の手書きデータも画毎に座標点データとしてデジタル化されるものである。
上記構成の文字、記号及び図形認識プログラムにおいては、請求項3乃至4のいずれか1に記載の発明の作用に加えて、標準データと手書きデータの座標点データ同士を比較照合することが可能であるという作用を有する。
【0016】さらに、請求項7に記載の発明である文字、記号及び図形認識プログラムは、請求項3乃至6のいずれか1に記載の発明において、標準データが手本の文字の画数データと、画毎にデジタル化された座標点データと、手本の文字に関して跳ね、流れ、丸、丸止めのうち少なくとも1の有無を示す特徴情報データと、手本の文字に関して自画又は他画との交差点の有無を示す交差情報データとを有するものである。
本発明においては、標準データに備えられた画数データ、特徴情報データと交差情報データが、より詳細に手書きデータを認識でき、より正確に正誤や正答度を判断可能に作用する。
【0017】請求項8に記載の発明である文字、記号及び図形認識プログラムは、請求項7に記載の発明において、第1の記録媒体から読み出した手書きデータ又は第3の記録媒体から読み出した変換データと第2の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに跳ねの存在が示されている場合にその跳ねが存在する画の終了点近傍の座標点データから跳ね角度を算出する工程と、跳ねが存在する画の手書きの文字の変換データの終了点近傍の座標点データから跳ね角度を算出する工程と、標準データの跳ね角度と変換データの跳ね角度を比較して文字の正誤又は正答度を判断する工程を有するものである。
本発明においては、手書きの文字の跳ねを標準データの座標点データと変換データの座標点データから跳ね角度を算出し、比較して手書き文字に含まれる跳ねを評価する作用を有する。
【0018】請求項9に記載の発明である文字、記号及び図形認識プログラムは、第1の記録媒体から読み出した手書きデータ又は第3の記録媒体から読み出した変換データと第2の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに丸の存在が示されている場合に手書きの文字の各画の変換データの開始点と終了点の座標点データからその間の距離を算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
例えば、ひらがなの「ぴ」の文字には丸が含まれるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸はその始点と終点が一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの開始点と終了点の間の距離の算出に用いられるという作用を有する。
【0019】請求項10に記載の発明である文字、記号及び図形認識プログラムは、請求項7に記載の発明において、第1の記録媒体から読み出した手書きデータ又は第3の記録媒体から読み出した変換データと第2の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの特徴情報データに丸止めの存在が示されている場合に手書きの文字の各画の変換データの終了点とこの終了点から逆に予め設定した複数の点までの距離をそれぞれ算出する工程と、この距離によって文字の正誤又は正答度を判断する工程を有するものである。
本発明は、例えばひらがなの「る」の文字の最後は丸を含むように止められるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる丸止めは画の終点が自画のいずれかの部分と一致すべきであることから、特徴情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データの終了点と終了点から逆戻りして得られる複数の点までの距離の算出に用いられるという作用を有する。
【0020】請求項11に記載の発明である文字、記号及び図形認識プログラムは、請求項7に記載の発明において、第1の記録媒体から読み出した手書きデータ又は第3の記録媒体から読み出した変換データと第2の記録媒体から読み出した標準データとを画毎に比較照合し手書きの文字、記号又は図形の正誤及び正答度を判断する工程が、標準データの交差情報データに交差点の存在が示されている場合に手書きの文字の各画の変換データの座標点データから交差点を検出してその交差点の座標点データに交差符号を付す工程と、この交差点の各画前後の座標点データに周辺番号をその画の書き順に対して順方向又は逆方向に付す工程と、交差点の各画の周辺番号によって文字の正誤又は正答度を判断する工程を有するものである。
本発明は、例えばひらがなの「あ」の文字には画同士が交差する箇所があるが、本発明はこのような文字を手書きした場合についてその正誤や正答度を判断するためのものである。このような文字を描いた場合、手書きの文字に含まれる交差点は文字によって一定の画と画がほぼ決まった場所で発生すべきであることから、交差情報データは、その文字の正誤や正答度を判断するために文字の各画の変換データから交差点の検出及び交差した方向までの検出に用いられるという作用を有する。
【0021】請求項12に記載の発明は、請求項3乃至11のいずれか1に記載された文字、記号及び図形認識プログラムを記録したコンピュータ読み取り可能な記録媒体である。本発明は、プログラムを記録した記録媒体について権利化を図るものであり、その作用は請求項3乃至請求項11にそれぞれ記載された発明と同様である。
【0022】請求項13に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され手書きの文字、記号又は図形を読み取りデジタル化して手書きデータを生成する読取部と、この読取部から手書きデータに含まれる文字、記号又は図形の特徴を画毎に読み出して、手本の文字、記号又は図形をデジタル化した標準データと画毎に比較照合して手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、手書きの文字、記号又は図形の正誤及び正答度を出力する出力部とを有するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項1に記載の文字、記号及び図形認識方法あるいは請求項3に記載した文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、読取部で生成される手書きデータが、評価部において標準データを用いて画毎に比較照合され、その正誤や正答度が判断されるという作用を有する。
【0023】請求項14に記載の発明である文字、記号及び図形認識システムは、手書きの文字、記号又は図形を入力する入力部と、この入力部に接続され手書きの文字、記号又は図形を読み取りデジタル化して手書きデータを生成する読取部と、手書きデータを格納する第1の記録媒体と、手本の文字、記号又は図形をデジタル化した標準データを格納する第2の記録媒体と、第1の記録媒体から読み出した手書きデータと第2の記録媒体から読み出した標準データを比較して手書きの文字、記号又は図形の大きさを手本の文字、記号又は図形の大きさに合致させる倍率を求める倍率解析部と、倍率を用いて手書きデータを変換して変換データを生成する変換部と、変換データを格納する第3の記録媒体と、変換データと標準データを第3の記録媒体と第2の記録媒体からそれぞれ読み出して画毎に比較照合し手書きの文字、記号又は図形の正誤又は正答度を判断する評価部と、手書きの文字、記号又は図形の正誤及び正答度を出力する出力部とを有するものである。
上記のように構成された文字、記号及び図形認識システムは、請求項2に記載の文字、記号及び図形認識方法又は請求項4に記載の文字、記号及び図形認識プログラムをシステムとして捉えた発明であり、倍率解析部が、手書きデータを変換して標準データと比較照合可能な変換データとすべき倍率を解析する作用を有する。その後、その倍率を用いて変換部によって変換データが生成され、評価部では標準データと変換データを照合して手書きの文字、記号又は図形の正誤や正答度が判断される。
【0024】
【発明の実施の形態】
以下に、本発明に係る文字、記号及び図形認識方法とそのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態を図1乃至図34に基づき説明する。(請求項1乃至請求項12に対応)
本実施の形態は、手書き文字や記号又は図形を認識して、その正誤や正しい場合に文字や記号あるいは図形としての美しさや出来ばえを判断するために供される方法あるいはプログラムである。具体的には、例えば小学生がタブレットコンピュータなどペン入力可能な装置を用いて、ひらがなや漢字を学習するようなケースに使用されるものである。
【0025】図1は本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。本実施の形態の説明では、まず手書き文字を認識して、採点処理する方法について説明する。
図1において、まず、ステップS1は手書きデータ入力工程を示す。この手書きデータ入力工程では、タブレットコンピュータのような軌跡を追うことができる装置などに文字を手書きで入力して、その軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ3は、手書き文字データベース4に格納される。
【0026】ステップS2は、予め標準文字データベース2に格納され、デジタル化された標準文字データ1と手書き文字データ3の画数を比較する工程を示す。本実施の形態における最大の特徴は、画毎に手本と手書き文字を比較することにあり、まず、この画数で一致することを確認した後、手書き文字の評価を行うものである。
標準文字データ1は手書き文字データ3と同様に、手本となる文字を点の集合として捉え、集合を形成する点の座標、跳ねや丸あるいは丸止めなど文字としての特徴を示す情報、あるいは自画や他画との交差に関する情報を含むものである。
【0027】画数が等しい場合には、ステップS3において、手書き文字データ3と標準文字データ1の大きさを比較して手書き文字データ3の倍率を演算する。この倍率の演算は、標準文字データ1と比較する手書き文字データ3の大きさが異なると、文字の各画の長さや跳ね、あるいは交差などの特徴が正しく認識できず、その大きさを統一するために行うものである。但し、予め文字を手書きで入力する装置の大きさを調整することによって、手書き文字データ3が、標準文字データ1とほぼ同一の大きさを構成することが予測できるような場合では、倍率を考慮する必要はない。しかしながら、前述のとおり、本実施の形態における最大の特徴である画毎の比較を行う際には、その画毎の標準文字データ1と手書き文字データ3が対応することが重要であるため、このステップS3が設けられている。
【0028】倍率の演算が終了した後、その倍率に従って拡大あるいは縮小を行い、標準文字データ1と略同一の大きさにするデータ変換を行う。これが、ステップS4である。変換された手書き文字データ3は、変換文字データ5として変換文字データベース6に格納される。このステップS4によって手書き文字データ3は、標準文字データ1の座標点の数と略同一となり、画毎の文字形状の比較が容易となり、従って次のステップS5における採点が容易となる。
【0029】ステップS5は採点処理の工程を示す。このステップS5では、全角における基本的な評価から各画の基本的な評価をはじめとして、画の長さや跳ね、丸、丸止めなどの文字の特徴情報に基づく評価や交差点に関する評価などを実施する。採点された結果は採点結果データ7aとして採点結果データベース8に格納される。詳細には図15を参照しながら後述する。
【0030】ステップS6は、ステップS2において画数が異なった場合、あるいはステップS5において文字の成立として必要な条件を満足しなかった場合などに、誤字と判断する工程を示している。誤字判断の結果は、誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0031】ステップS7は、ステップS5における採点処理を受けて、総合的な採点を行う工程である。ステップS7では、ステップS6の誤字判断処理とは異なり、文字として成立していることを前提に、文字の辺とつくりのバランスや跳ねや交差点の位置など美的外観上の良否を判断して総合的に採点を施すものである。総合的な採点結果は、採点結果データベース8に総合採点データ7bとして格納される。
【0032】このステップS7とステップS6の採点と判断を受けてステップS8では、その結果を出力する工程である。出力方法は、コンピュータの画面上に表示するものであったり、音声を伴うものであったり、プリンターに印字するものであったりどのような方法でもよく限定するものではない。また、特定の箇所に例えば赤色で着色したり、ハッチングを施したり、文字の濃度を変更したり学習者が留意すべき点を強調するようなものであると好適である。
【0033】次に、図2に示す具体例を参照しながら、本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムについて説明する。
図2は、標準文字11のひらがなの「あ」に関する標準文字データ1の内容を編集するための画面であるが、標準文字データ1の内容を示す模式図でもある。図2においては、データ点12とそれを肉付けした文字の外形を同時に示しており、「あ」として見える部分は文字として「あ」であるが、標準文字データ1としては、第1画13については、そのほぼ中央に示されるようなデータ点12の羅列として形成されるものである。第2画14、第3画15も同様である。これらのデータ点12は、図2に示されるx軸とy軸の座標上に存在する点として表現される。
【0034】「あ」の文字としての特徴について述べると、第1画13と第2画14には、第1画13のほぼ中央に交差点16が存在する。これは第1画13及び第2画14からすればそれぞれ他画との交差点となる。一方、第3画15においては、自画との交差点19が存在し、さらに他画との交差点17,18も存在している。また、第1画13及び第2画14の画の終点が止めであるのに対して、第3画15の終点は、流れ箇所20となっていることも特徴の一つである。
このような標準文字11について、標準文字データ1としては図3に示されるようなデータが格納されている。図3は、標準文字データ1を編集するための画面であり、データ構造を模式的に示すものでもある。標準文字11が右側に示されている。また、画数欄31に1とあるように本図は標準文字11を構成する各画のうち、第1画13について示すものである。なお、総画数32は3と表示されている。
【0035】図3において、文字表示欄21にはひらがなの「あ」が表記されており、点位置欄22には0から第1画13を構成する点の数まで記入されている。この第1画13を構成する点の数であるが、点数欄30に記載されているとおり、42の点から構成されている。すなわち、本図は第1画13に関するデータシートの第1頁を示すものであり、さらに42まで点位置欄22に記載されている後続のデータシートの頁が存在することになる。
また、x軸座標欄23及びy軸座標欄24には、それぞれの点の座標が表示されている。
但し、点位置欄22には、0から42の数値が格納されており、「0」の欄が余分に設けてある。これは、「0」の欄に対応させて、x軸座標欄23では点数欄30に示された第1画13のデータ点数を格納するためである。
【0036】さらに、跳ね表示欄26には第1画13に跳ねが存在する場合には「1」がフラッグとして入力されるが、存在しないため「0」が示されている。同様に流れ表示欄27は第1画13の流れの有無を示し、丸表示欄28は丸の有無、丸止表示欄29は丸止めの有無を示している。第1画13には、流れも丸も丸止めも存在しないため、「0」が示されている。
【0037】図4は、図3の次のデータシートの頁を示すものであり、点位置欄22に示された数値が、6から15と図3に示された数値よりも大きなものとなっている。本図において、図3と同一の部分については同一符号を付し、その構成の説明については省略する。このように、複数の画から構成されるひらがなにおいて、その画毎に複数のデータシートを備える構造となっている。
【0038】次に図5は、標準文字11のひらがなの「あ」に関して標準文字データ1のうち、特に交差点など位置的な情報について編集するための画面であり、まとめたデータ模式図である。図5においても図3と同一部分については同一符号を付し、その構成の説明は省略する。
画数欄31aには標準文字11を構成する各画のうち、どの画のデータであるかを示す1が表記されている。跳ね表示欄26a、流れ表示欄27a、丸表示欄28a、丸止表示欄29aにはそれぞれ「0」が示されており、この第1画13ではそれらの特徴がないことを示している。また、点数欄30aには前述のとおり「42」が表記されている。
交差点に関する情報は、まず交差位置表示欄35に「2,1,45」が示されているが、この3つの数字のうち、最初の「2」は、この第1画13が第2画14と交わることを示している。次の「1」は順方向に交わることを示し、最後の「45」は、第1画13の始点から45%の位置で交わることを示している。
【0039】ここで、順方向とは、自画の場合にのみ取り扱われるものであるが、自画の相手の書き順の方向が、交差しようとしている自画の左側から進んでいる場合に順方向といい、自画の右側から進んでいる場合には逆方向という。今回のように他画と交差点を共有する場合には、順方向であるか逆方向であるかは問題とされず、いずれの場合でも「1」が格納される。従って、厳密には、他画との交差点においては、順方向であるか逆方向であるかは認識されていない。
【0040】また、開始接続相手表示欄36は、この第1画13の開始点が接続したりあるいは近接したりという関係がある相手の画の番号を格納する欄であり、同様に終了接続相手表示欄38は終了点に対する相手の画の番号を格納する欄である。開始接続内容表示欄37及び終了接続内容表示欄39は、それぞれ第1画13の開始点と終了点がその相手の画とどのような関係となっているかを具体的に示す符号である。本図の例で説明すれば、第1画13の開始点は第2画14に対して接続に関連して特記すべき関係はないことになる。また、終了点については、どの画とも接続に関して特に関係がないことを示している。この接続内容については、図中に示されるとおり、「0」がなし、「1」が接続している、「2」が少近接している、「3」が相手画の開始位置に接続している、「4」が相手画の終了位置に接続しているということを意味している。
【0041】点情報表示欄41は、第1画13のデータ点12の座標及び太さに関するデータを表示している。
以上、「あ」の第1画13に関するデータについて説明したが、このデータをまとめてデータ構造として示すと、表1のようになる。
【0042】
【表1】
【0043】表1は、図1に示された標準文字データベース2に格納される標準文字データ1の構造を示すものである。画数からストローク、交差点に関する情報や跳ね、流れ、丸、丸止めやさらに画の書き始めの関係や書き終わりや中間の関係などの接続情報から構成される。
交差相手、交差地点及び交差方向は、第1画の場合は1箇所しかないため、このように1組のみ格納されるが、例えば第3画の場合であれば自画との交差地点も併せて3箇所あるので、3組のデータが格納されることになる。
【0044】次に図6は、「あ」の第2画14に関して図5と同様に示す図である。図6において、第2画14が第1画13に比較して長いため点数欄30aに示される数字は71と増えている。また、第2画14は第1画13と交差する他、第3画15とも2点で交差しているため、交差位置表示欄35には3点の交差点に関する情報が格納されている。
最初の「1,1,28」とは、先に説明したとおり、第1画13と、第2画14の28%の位置で交差することを意味している。同様に、第2画14は、第3画15と、第2画14の59%と87%の位置で交差することがわかる。
その他、図5と同一部分については同一符号を付して説明を省略する。また、以後図6乃至図10においても図2乃至図5と同一部分については同一符号を付して構成の説明を省略する。
【0045】図7は、「あ」の第3画15に関して図5と同様に示す図である。第3画15であることが画数欄31aに表示されており、また、第3画15は3つの画のうち、最も長いため点数欄30aには最も多い176個のデータ点から構成されていることが示されている。また、第3画15の終了点は「流れ」であるため、流れ表示欄27aにその座標の表示がある。この座標は、図2に示されるものであり、左上側に原点が存在し、x軸は左側が正方向、y軸は下側が正方向となる。
交差位置表示欄35には、4つの交差点の表示があるが、このうち、最初と最後の表示は自画の同じ交差点を示すものである。最初の「3,1,2」とは、自画に対して、順方向に2%の位置で交差することを示しており、最後の「3,1,63」は、同じく63%の位置で交差することを示している。すなわち、それぞれの画において書き順に沿ったデータ点の位置毎に情報が格納されているのである。従って、自画で交差する場合には、1点が2点分のデータとして格納されることになる。
2番目の「2,1,16」は、第2画14と、第3画15の16%で交差することを示し、3番目は同様に51%で交差することを示している。
【0046】さらに、今度はひらがなの「い」に関するデータを用いた図8を参照しながらデータ構造について説明する。
図8は、標準文字50のひらがなの「い」に関して、図3と同様に示す概念図である。「い」の第1画51には、その終了点において跳ねがあるため、跳ね表示欄26にその座標表示があり、データが格納されていることがわかる。また、跳ねた後には流れとなるため、流れ表示欄27にもその座標表示がある。しかし、丸や丸止めはなく、「0」が表示されている。点数欄30には「あ」の場合と同様にデータの点数が表示されている。
【0047】図9は、標準文字53のひらがなの「ぴ」に関して、図2と同様に示す概念図である。図9では、「ぴ」の2画目を示すものであるが、2画目とは、丸54の部分である。従って、丸表示欄28において「1」の表示があり、データが格納されている。もちろん、跳ねも流れも丸止めもないので、その他の部分には、座標として「0,0」が、また、無いことを示す「0」が表示されている。点数欄30の「37」は、丸54を描いているデータ点数が「37」であることを示している。
【0048】最後に図10は、標準文字56のひらがなの「る」に関して、図2と同様に示す概念図である。図10の「る」は、一画であるので点数も多く点数欄30には「228」との表示がある。この文字の特徴は、画が丸止めとなっていることであり、丸止表示欄29にフラッグとして「1」が表示されている。
以上説明したとおり、標準文字データ1はデータ点12それぞれについて座標を備えて格納され、その各画において跳ねや流れ、丸や丸止め、さらには自画や他画との交差点や接続状況などの情報から構成される。
【0049】一方、この標準文字データ1と比較、照合しながら採点される手書き文字のデータに関して図11を参照しながら説明する。
図11は、手書き文字58のひらがなの「あ」を示す概念図である。この「あ」は、先に説明したように、その軌跡を追うことができるような装置を用いて、文字を手書きすることで得られるデータの集合として示している。すなわち、「あ」を構成するそれぞれの画が一定間隔のデータ点59の集合として捉えられるものである。この間隔は描くスペースによって適宜調整するとよい。また、図1を用いて説明したように、標準文字データ1との大きさによって倍率を求めて変換文字データ5に変換されるため、手書き文字データ3におけるデータ点59は、最終的には標準文字データ1のデータ点数に近い点数に変換される。
【0050】手書き文字データ3のデータ構造として表現したものを表2に示す。
【0051】
【表2】
【0052】以上、標準文字データ1と手書き文字データ3の内容について図2乃至図11及び表1,2を参照して説明したが、以下は、本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて、このように概念される標準文字データ及び手書き文字データによって実行される手書き文字の評価、採点について説明する。具体的には、図1に示されたフロー図の各ステップをさらに詳細に示して説明するものである。
【0053】図12は、本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データ3と標準文字データ1の画数を比較するステップS2を示すフロー図である。
図12において、手書きによって入力された文字は、デジタル化されて手書き文字データ3として手書き文字データベース4に格納されている。ステップS2においては、この手書き文字データ3を手書き文字データベース4から読み出し、これと予め標準文字データベース2に格納されている標準文字データ1を読み出して、それぞれの画数を比較する。ここで、等しい場合には、このステップは修了し次のステップに進み、異なる場合には、手書きの文字が手本と異なることになるため、その情報は誤字判断結果データ9として誤字判断結果データベース10に格納される。なお、本図以降、図に示される一点鎖線は各ステップにおいてデータの読み出しと格納を示すものである。
【0054】図13は、図1に示すフロー図のうち、ステップS3の詳細を示すフロー図である。ステップS2で標準文字データ1と等しい画数を備えると判明した手書き文字データ3は、画毎の詳細な判定、採点を行うために標準文字データ1と同等のデータ数を有してそれぞれの比較照合に対応可能なようにデータの大きさを合わせるための倍率を求める工程へと進む。この倍率とは拡大と縮小の双方を含む概念である。
まず、ステップS31では、標準文字データベース2から標準文字データ1、手書き文字データベース4から手書き文字データ3を読み出して倍率変換の要否の確認表示を行い、利用者による確認を行う。
【0055】その後、倍率変換を行う場合にはステップS32で倍率の演算を行う。この演算は、具体的には標準文字データ1と手書き文字データ3の画毎に全画のデータを使用してx軸、y軸の高さと幅の倍率を求めることによって行う。
ステップS33では、それぞれのx軸とy軸の高さから倍率比を検出して予め設定した規定範囲と比較する。この規定範囲は、この後の採点処理が可能であると判断される限度の倍率比をいい、これ以上であればx軸とy軸の倍率比のうち倍率比が1に近い方を使用する。
規定範囲内であればステップS34でそれぞれの軸の倍率比を選択して使用することとする。
なお、ステップS31で倍率変換の実施を行わないとした場合には、倍率を用いた変換を行わないため、そのまま手書き文字データ3を複製して変換文字データ5としてステップS5の採点処理を行う。
【0056】図14は、図1に示すフロー図のうち、ステップS4の詳細を示すフロー図である。ステップS4は、倍率変換を実施したために手書き文字データ3の字としてのバランスを失う場合を考慮して重心の調整を行い、変換文字データを生成する工程である。
ステップS41では、手書き文字データ3と標準文字データ1を用いてそれぞれの手書き文字と手本文字の重心位置を演算する。ステップS42では、n=1、すなわち第1画と指定し、ステップS43で手書き文字データ3を用いて演算された手書き文字の第1画の重心を標準文字データ1を用いて演算された手本文字の第1画の重心へ合わせることで重心の位置を調整する。
【0057】ステップS44で全角について終了したか否かを確認し、そうでない場合には、画数をインクリメントしてさらにステップS43に戻り第2画、第3画と重心の位置を調整する。最終画まで重心調整が終了した場合には変換文字データ5が生成され、変換文字データ5を変換文字データベース6に格納してこのステップS4を終了する。
【0058】図15は、図1に示すフロー図のうち、ステップS5の詳細を示すフロー図である。ステップS5は採点処理を行う工程であり、この工程は詳細には図15に示すとおり、ステップS50からステップS59までの10工程を含むものである。
ステップS50では、全角での高さ、幅、重心位置、上端部、下端部の評価を行う。倍率変換を行った場合には、画毎に重心位置を調整しているものの、全体的な重心位置は調整しておらず、必ずしも標準文字データ1の全角における重心位置と変換文字データ5の全角の重心位置が一致するものではない。これらの評価とは具体的には、図16に示されるとおり、全画描かれた状態において高さ、幅、重心位置、上端部と下端部について、予め設定された違いの幅、あるいは誤差範囲に応じて減点するものである。
【0059】この減点の仕方の例として高さを例に取ると、標準文字データ1と変換文字データ5における高さの差の絶対値を計算し、その差の絶対値から2を引いて減算値を求め、この減算値が0より小さい場合、すなわち差の絶対値が2よりも小さい場合には0とし、減算値が0より大きい場合にはその減算値をそのまま減点するなどの方法がある。もちろん、差の絶対値を2とのみ比較する必要はなく、1やその他の数字を適宜選択してもよい。
このステップS50で得られた評価のデータは採点結果データ7aとして採点結果データベース8に格納される。
【0060】ステップS51では、画毎の高さ、幅、重心位置、画毎の開始位置、終了位置の評価を行う。これらの評価は、図17に示されるとおり、具体的にはステップS50で行ったものと同様のことをそれぞれ画毎に実施するものである。予め設定された違いの幅、あるいは誤差範囲に応じて減点し(ステップS511)、第1画から始めてインクリメントしながら全角終了か否かを確認して(ステップS512)、画毎に実施する。全角終了した段階で終了となるが、このステップS51で得られた評価データも採点結果データ7aとして採点結果データベース8に格納する。
【0061】図15のステップS52では、画の長さを評価する。この長さの評価とは、一定の誤差範囲を予め設定しておき、変換文字データ5に含まれるデータがこの誤差の範囲内に入れば正しい文字の画と判断するものである。図18に示すとおり、まずステップS521で変換文字データ5の画毎の全点間のストローク長を標準文字データ1におけるストローク長と比較する。予め設定された違いの幅、あるいは誤差範囲に応じて減点し(ステップS521)、第1画から始めてインクリメントしながら全角終了か否かを確認して(ステップS522)、画毎に実施する。この画の長さの評価のデータは、誤字判断結果データ9として誤字判断結果データベース10に格納される。この誤差範囲としては、例えば3倍以上あるいは3分の1以下などが考えられるが、それ以外の数値であってもよく文字や記号などによって適宜設定するとよい。
図15のステップS53では、開始点と終了点の2点間におけるベクトル方向を評価するものである。このベクトル方向が予め設定された範囲内に入る場合には正しい文字の画と判断する。
【0062】図19に示すとおり、まず、ステップS531で各画の開始点と終了点の間のベクトル方向を標準文字データ1と変換文字データ5について比較する。そして、予め設定された範囲内、例えば、2つのベクトルの角度が一定の角度以上である場合には異常と判断するものである。第1画から始めてインクリメントして全角か否かを判断して(ステップS532)、画毎に実施する。この評価データも誤字判断結果データ9として誤字判断結果データベース10に格納される。
図15のステップS54は、跳ね方向の評価を行うものである。跳ね方向が一定の方向であることが確認された場合には、正しい文字の画と判断されるのである。
【0063】図20に示すとおり、まず、ステップS541において標準文字データ1の第1画において跳ねがあるか否かについて確認する。跳ねは、すべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであるため、その有無をまず確認するものである。この有無は先に説明した図8において、跳ね表示欄26に座標が記載されるか否かで判断される。跳ねがない場合には、ステップS543に移行し全角か否かの判断を行う。
跳ねが存在する場合には、ステップS542に移行し、標準文字データ1の跳ねの角度と変換文字データ5の跳ねの角度を比較する。比較の際には、予め設定された範囲内、例えば各画の開始点と終了点の間のベクトル角と同様に2つの跳ね角度が一定の角度以上である場合には異常と判断する。
【0064】その後、ステップS543で全角終了であるか否かを確認してまだ画が残っている場合にはインクリメントして次の画について跳ねの有無を確認して(ステップS541)、再び跳ね角度の比較を行う(ステップS542)。各跳ねについて判断した結果は誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0065】なお、図15には流れの評価が記載されていないが、流れの評価も跳ねの評価と同様に実行される。流れの有無を標準文字データ1において画毎に確認し、存在する場合には変換文字データ5の流れの角度と標準文字データ1の流れの角度からその良否が判断される。
誤字と判断された場合には、その結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0066】図15のステップS55は、丸評価を行うものである。詳細には図21に示すとおり、ステップS551にて標準文字データ1の第1画が丸であるか否かについて確認する。丸もすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するものである。丸であるか否かの確認は、先に説明した図9の丸表示欄28に表示されるフラッグの1を確認することによって行われる。
丸である場合にはステップS562に進み、変換文字データ5において、丸の画の始点と終点の間の距離を演算して予め設定した規定値の範囲以内か否かによって採点を行う。また、丸であるべき画が規定値よりも大きく外れている場合には、誤字と判断される場合もある。このように丸の場合には、その距離の程度によって採点が行われたり、誤字と判断されたりするため、その評価データは採点結果データ7aとして採点結果データベース8に格納される場合と、誤字判断結果データ9として誤字判断結果データベース10に格納される場合がある。
【0067】演算と採点評価が終了するとステップS553で全角について終了したか否かの判断を行い、まだ画が残っている場合にはインクリメントして次の画についてステップS551から実行される。すべての画について終了すると次のステップS56の丸止め評価が実行される。
【0068】図15のステップS56の丸止め評価は、字画の終点における丸止めができているか否かについて評価するものである。詳細には図22に示すとおり、ステップS561にて標準文字データ1の終点が丸止めであるか否かについて確認する。丸止めも丸などと同様にすべての画において存在するものではなく、文字の手本に関する特徴情報のひとつであり、それに該当するか否かをまず確認するのである。但し、この丸止めは図10に示すひらがなの「る」のみに存在するものであるため、第1画、第2画と全角について評価するのではなく、「る」の第1画のみで判断される。
【0069】丸止めの評価はステップS562に示されるとおり、変換文字データ5に含まれる終了点を基準として10点まで戻った点から全体の点数の3分の2に相当する地点まで遡り、終了点との間の距離を演算する。図10によれば、全体の点数は点数欄30に記載された228点であるため3分の2に相当する地点は、開始点から152番目の点に相当する。
したがって、終了点から10点戻るため218番目の点から遡って153番目の点まで終了点からの距離を演算することになる。そして、この演算された距離が最も近接している点とその距離を求めて評価を行うが、ほぼ0に近い距離を予め定めた規定値としておき、この規定値よりも近接している箇所がない場合、あるいは終了点前で交差している場合も誤字であると判断する。また、近接は本来ほぼ0の距離となるはずであるが、その近接距離の程度によって採点を行う。
【0070】なお、終了点から10点戻るのは終了点近傍では終了点と近接するのが当たり前で丸止めとなっているかの判断を誤る可能性があるためである。但し、この10点は特にこの数に限定するものではなく、適宜定めるとよいし、さらに戻る点も3分の2に限定するものではなく、適宜4分の3などとしてもよいことは言うまでもない。
誤字と判断された結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納され、予め設定された規定値以内に近接していることによって採点された結果のデータは採点結果データ7aとして採点結果データベース8に格納される。
【0071】次に図15のステップS57は交差点評価を行うものである。跳ねや流れ、丸や丸止めなどの特徴情報データの評価に加えて、文字に存在する交差点の評価を行いより正確に手書き文字の評価を行うものである。この交差点評価については、図23及び図24を参照しながら説明する。
【0072】まず、図23に示すとおりステップS57a1にて標準文字の全画の交差点情報データを標準文字データ1から読み出し、標準交差順データ61として交差順データベース64に格納する。
次にステップS57a2において、調査の基準となる画をnとし、相手となる画をmとしていずれも初期値を1とする。ステップS57a3では、仮交差点の検出を行う。この検出の方法について図24(a)及び(b)を用いて説明する。
【0073】図24(a)において、方眼の升目は横がx軸の座標を示し、縦がy軸の座標を示すものであり、小文字のaはn画線65、すなわち調査の基準となる画の線のデータを示し、小文字のbはm画線66、すなわち調査の相手となる画の線のデータを示している。このような状態において、それぞれの画の線のデータが交わる箇所を仮の交差点67交差点として小文字のcを当てる。
また、図24(a)中に符号Bで示した範囲を図24(b)に示すが、このように斜めに抜けている場合においても仮の交差点67として認識することとする。
【0074】次に、図23に戻りステップS57a4では、仮交差点近傍に番号を付与する。この交差点近傍へ番号を付与する方法について図24(c)及び(d)を用いて説明する。
【0075】図24(c)に示すとおり、n画線65とm画線66上において、仮の交差点67との隣接点68のデータに小文字のdを代入する。また、(d)ではその符号dの外側すなわち仮の交差点67とは反対側に、n画線65では、仮の交差点67と隣接点68を挟んで周辺点69a,69bに1と2という数値を代入し、m画線66では、同様に仮の交差点67と隣接点68を挟んで周辺点70a,70bに1001と1002という数値を代入している。
これらの1,2,1001,1002という数値は、書き順の上流側から小さな数値を付すものである。したがって、数値の小さなデータが交差点67への入口、大きなデータが出口となる。このように数値を代入したデータを生成した後に、図23のステップS57a5に移行する。
【0076】ステップS57a5では、交差の有無を評価するものである。図24(d)に示されるケースは、n画線65の周辺点69aから時計回りに周辺点をチェックすると、周辺点69aの次の周辺点はm画線66の周辺点70aが存在し、次にn画線65の周辺点69b、そして最後にm画線66の周辺点70bが存在している。このようにn画線65とm画線66の周辺点が交互に存在する場合には、仮の交差点67はそのまま交差点として判断される。
【0077】一方、もし、周辺点69aの次の周辺点が同じn画線65の周辺点69bとなり、そしてm画線66の周辺点70a、さらに周辺点70bと続いた場合には交差しているのではなく、接して離れるといった文字の形状であると判断できる。したがって、周辺点をチェックし、なおかつ書き順に従った数値を付して、それらの配置の順序を検知して真の交差点であるか否かを判断するのである。
【0078】ここでn画線65とm画線66の周辺点が交互に存在すると判断され、交差点があると判断された場合には、図23のステップS57a6に進む。
このステップS57a6では、交差方向を解析するが、これは周辺点に付す番号が上流側から奇数、偶数と付番されるため、この交差点へそれぞれの画がどちらの方向から進入してくるかについて解析するものである。
【0079】なお、図24(a)〜(d)においては他画との交差を例に取ったが、自画における交差においても同様に交差点の解析やその方向の解析は可能である。例えば、図24(d)においてm画線66として小文字のbが配置されている部分はすべて小文字のaとなり、周辺点に1001と1002が代入されているものは、それぞれ例えば3と4を代入することができる。交差点か否かの判断はその周辺点の並び方で、1,3,2,4と並んでいた場合には交差点であり、1,2,3,4と並んでいた場合には自画で接触していることが判断可能である。
交差方向の解析まで終了すると、その交差点に関する評価のデータは交差順番記憶データ62として交差順データベース64に格納される。
【0080】図23のステップS57a7では、調査の相手となるm画が最終画であるか否かを判断し、最終画でなければ同一の調査の基準となる画に対して、相手画をインクリメントして再度仮の交差点の検出から実行する。最終画の場合には、ステップS57a8に進み、調査の基準となるn画が最終画であるか否かの確認を行い、最終画でない場合には、基準となるn画をインクリメントして再度仮の交差点の検出から実行する。基準となるn画が最終画まで終了すると、交差点の有無及び交差方向に関するデータの取得の工程が終了する。
【0081】次に、図25に示すとおり、変換文字データ5を用いて解析して得られ交差順データベース64に格納した交差順番記憶データ62の順序を並べ替える。
図25において、ステップS57bでは、交差順データベース64から交差順番記憶データ62を読み出して、各画の開始点から交差する順番に並び替える処理を行う。
【0082】画毎に交差点の周辺点に数値を代入していることから、その交差する順番に並び替えることは可能である。このようにまず順序だてて交差点を整理してから標準交差順データ61との比較を行う。並び替えを行った交差順番記憶データ62は、手書き交差順データ63として交差順データベース64に格納される。
【0083】図26は、整理された交差点について採点評価する工程(ステップS57c)を示すものである。図26において、ステップS57c1では交差点の調査の基準した画として第1画を選択すべくnを1とする。交差順データベース64に格納した標準交差順データ61及び手書き交差順データ63を読み出し、ステップS57c2において交差順序と方向を比較する。その後ステップS57c3においてすべて一致すると判断された場合には、ステップS57c9において全画について終了か否かの判断を行うが、すべてで一致するわけではない場合には、ステップS57c4において規定以内で交差しているものを無視して比較する。これは手書き交差順データ63に含まれるデータが、標準交差順データ61と比較して画の開始点から一定の範囲内において交差しているような場合には除外して評価するものであるが、漢字などで第1画と第2画の特に開始点が一致するような場合が多い。そのような場合、手書きでは偶然に交差してしまうことも多く、それを交差点として認識してしまうようなケースがあるため、これを除外して交差点を評価するものである。
もちろん、文字によっては開始点のみならずその他の箇所で手書きを行う者の意識の外で交差点を生じてしまうような場合もあると考えられるので、適宜、字体によって規定を設けるとよい。
【0084】ステップS57c5では、不要と考えられる交差点を除外した後に比較した交差順序と方向がすべて一致した場合には、ステップS57c9に進むが、それでもまだ一致しないものが存在する場合には、ステップS57c6に進む。
【0085】ステップS57c6では、標準交差順データ61において交差位置が近いと判断される場合には、手書き交差順データ63において格納されている交差データの順序を入れ替え、その後に標準交差順データ61と比較する。このようにして比較してステップS57c7ですべて一致すると判断されると、ステップS57c9へ進むが、それでも一致しないものが存在する場合には、ステップS57c8において合致しない場合には、合致しない基準となった画とその交差の相手画の情報を抽出する。そしてステップS57c9で全画終了か否かの確認を行い、残っている画が存在する場合には、基準となる画をさらに1つ進めるインクリメントを行い再度ステップS57c2から実行する。すべての画において評価が終了した場合には、比較した結果のデータを採点結果データ7aとして採点結果データベース8に格納し、また、すべての画ですべての交差順序と方向が一致しない場合には誤字と判断されその結果のデータは誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0086】次に、図15のステップS58について図27を用いて説明する。ステップS58は、画毎の相対的な位置関係を評価するものである。図27において、まずステップS581においては標準文字データベース2に格納された標準文字データ1を読み出し、画毎に標準文字データ1に含まれる接続や遠近に関するデータを読み出す。具体的には、図5を用いて説明したとおり、ある画の開始点あるいは終了点に対して、他の画とどのような位置関係にあるかを示す開始接続相手表示欄36、終了接続相手表示欄38、開始接続内容表示欄37、終了接続内容表示欄39などに示される相対的な位置関係に関するデータを読み出す。
【0087】ステップS582においては読み出した標準文字データ1の相対的な位置関係に関するデータを参照しながら、変換文字データベース6に格納された変換文字データ5を読み出して比較する。比較の方法としては、例えば第1画の開始点と第2画の開始点が接続しているような場合では、第1画の開始点と第2画の開始点の間の距離を座標点をベースに演算し、予め定めた規定の距離と比較してその規定の距離以内であれば接続していると判断するなどである。この規定の距離は、文字の太さなどによっては離れたように見えたり、接続しているように見えたりする程度の距離であって、実際にタブレットコンピュータなどに描いた文字が通念上接続していると認識できるような距離を適宜定めて、データとして格納しておく。なお、開始点や終了点のデータとしては、変換文字データ5に含まれる真の開始点及び終了点のデータではなく、開始点であれば数点後の座標データを、終了点であれば数点前の座標データを用いることによって、手書きによる開始点と終了点の位置が他の画との関係で交差しているような場合に対応可能とするとよい。
【0088】比較の箇所としては開始点自身をはじめとして、終了点や画の途中など適宜比較するようにする。漢字などでは画間の接続は、開始点、終了点、そして略中間点などの場合があるためである。
【0089】比較する内容としては、接続や遠近、方向や長短など、開始点を基準として考えた場合の位置関係や接続状況、距離の長短などを比較し、これらの評価によって誤字となるか否かを判断するものである。評価した結果のデータはステップS585において誤字判断結果データ9として誤字判断結果データベース10に格納される。なお、方向とは開始点を基準として数点先、さらには比較対象の画すべての点との方向ベクトルを意味し、標準文字データ1における方向ベクトルと比較してその角度の差が予め定めた範囲以内であるか否かによって判断するものである。
【0090】同様にステップS583では、標準文字データ1の終了点を基準として変換文字データ5と比較する。その場合にも終了点自身をはじめとして開始点や画の途中までの箇所について、接続状態や遠近、方向などを比較する。方向は、終了点を基準として数点前あるいは比較対象の画すべての点との方向ベクトルとなる。この結果のデータも誤字判断結果データ9として誤字判断結果データベース10に格納される。
【0091】ステップS584では、画の途中を基準にしてステップS582やステップS583と同様に比較する。これらの比較が終了したらステップS586において全画終了したか否かを判断し、終了していない場合には、画をインクリメントしてステップS581から再度実行する。全画終了した場合には、画毎の相対関係の評価を終了して次のステップS59のパターン認識評価へ移行する。
【0092】図15に示されるステップS59の内容を詳細に図28に示して説明する。図28において、パターン認識評価は、画毎に変換文字データ5をパターン認識し、標準文字データ1の手本をベースに模範と考えられる文字形状を予め同心円的に定めた範囲に含まれるか否かを判断し、その結果美的な外観として文字を評価するものである。
ステップS59aでは、第1画からスタートし、まずステップS59a1において標準文字データベース2及び変換文字データベース6からそれぞれ標準文字データ1と変換文字データ5を読み出し、これらのデータの高さと幅を合わせる。
【0093】次に、基準となる採点値であるmを100点とし、ステップS59a2では標準文字データ1の第1画のデータを2次元配列に書き込む。この書き込まれたデータはm=100のデータとなる。基準となる採点値を10ほど下げて、先にステップS59a2で書き込まれたデータの周囲の空白の位置に一定の距離を隔てて同心円的に回りを囲むように範囲を設定してm(90点)の値を書き込む。すなわち、手本の標準文字データ1そのままは100点であるものの、そこから少しはずれた範囲内であれば10点減点した90点となる。
【0094】次に、ステップS59a4では、mが50以下となっていない場合にはさらに10ほど減点して再度同心円的な範囲を設定するようにするものである。50まで範囲を設定して点数を書き込んだ後に、ステップS59a5へ移行する。ステップS59a5では、各採点値毎の範囲に含まれる2次元配列の点とその点に対応する各採点値を採点値範囲データ45としてパターン認識データベース47に格納する。
【0095】続いて、ステップS59a6では変換文字データ5における第1画のデータを先のステップS59a2において標準文字データ1を書き込んだ同じ2次元配列に書き込み、変換文字書込みデータ46を生成し、これをパターン認識データベース47に格納する。
【0096】ステップS59a7においては、採点値100の範囲に含まれる変換文字書込みデータ46の文字を構成する点数を採点値100の点として計数し、同様に採点値90から50まで行う。
【0097】ステップS59a8では、手書きデータの移動の点を計算する。移動の点とは、文字の画を構成する点を意味し、この文字を構成する点に沿って移動させて和算することで、文字の画毎の合計点が求まるのである。
【0098】ステップS59a9では、標準文字データ1に含まれる画を構成する点の総数と変換文字データ5に含まれる画を構成する点の総数の相違による補正を行い、文字の大小によって採点に不公平のないようにする。補正を行った最終的な画毎の採点は採点結果データ7aとして採点結果データベース8に格納される。なお、補正の方法は数の比によって補正してもよいし、その平方根や2乗値などを利用してもよく、適宜ケースによって工夫するとよい。
【0099】ステップS59a10では、全画について終了している場合には次のステップS59bで滑らかさの評価を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第2画、第3画の評価を行う。
【0100】図29は、滑らかさによる評価を行うためのフロー図である。滑らかさとは、標準文字データ1を構成するポイントのうち連続するポイント間の距離と、変換文字データ5を構成するポイントのうち連続するポイント間の距離をそれぞれ演算し、さらにその差をそれぞれのポイント毎に演算して和を求めて偏差とし、この偏差を全体のデータ数で割ることで標準文字データ1と変換文字データ5が外観上どの程度合致しているかを計る指標である。
この滑らかさによる評価は、まずステップS59b1において標準文字データ1と変換文字データ5を読み出し、両者の高さ及び幅を合わせる。これは大きさをある程度一致させて比較を可能とするためである。また、それぞれのデータのポイント間の距離を演算するため画毎のデータ数、すなわちポイント数をステップS59b2で合わせる。さらに、ステップS59b3では標準文字データ1を構成するデータのうち、連続するデータs(m)とs(m+1)の間の距離を求め、さらに変換文字データ5のうち、連続するデータt(m)とt(m+1)の間の距離を求め、これらの距離の差を求める。この差をすべての連続するデータにおいて演算し、その和を偏差とする。
【0101】さらに、全データの数で除して平均値を出し、その平均値の大きさによって予め定めた採点を施してその結果を採点結果データ7aとして採点結果データベース8に格納する(ステップS59b4)。ステップS59b5では、全画について終了している場合には次のステップS6で誤字判断処理を実施するが、全画について採点がなされていない場合には、画数をインクリメントして第2画、第3画の評価を行う。
以上、ステップS5の採点処理の全体について説明した。
【0102】次に、図1におけるステップS6の誤字判断処理の工程について図30を参照しながら詳細に説明する。図30は、ステップS6のうち、画毎の特徴情報についてまとめる工程と交差点情報についてまとめる工程を示すステップS61のフロー図である。図30に示されるとおり、ステップS5の採点処理の工程において格納された誤字判断結果データ9を誤字判断結果データベース10から抽出し、ステップS611では画長さ、開始・終了点、ベクトル方向、跳ね、丸、丸止めを画毎にまとめる。図15において流れに関する評価の工程を省略したため、本図においても記載されていないが、もちろん流れの評価を行った場合には、このステップS611においてまとめる。まとめた評価データは総合採点データ7bとして採点結果データベース8に格納される。
【0103】さらに、ステップS612では、交差点数や交差方向、交差順番に関する評価データを誤字判断結果データ9から抽出し、画毎にまとめる。このまとめられた評価情報は同様に総合採点データ7bとして採点結果データベース8に格納される。
【0104】図31はステップS6のうち、画の位置関係を確認するステップS62を示す図であり、書き始め相対位置の確認を行う工程と書き始めの絶対位置の確認を行う工程を示すフロー図である。書き始め相対位置とは、先に図27を用いて説明したように開始点を基準として、他の画の開始点や中間点などとの位置関係をいう。ステップS621では、この開始点と他の画の開始点や中間点などとの接続や遠近などが適切となっているか、すなわち規定の距離以内に収まっているか否かを、誤字判断結果データベース10に格納された誤字判断結果データ9を読み出して正常か否かを判断するものである。正常か否かの評価結果のデータは総合採点データ7bとして採点結果データベース8に格納される。
【0105】また、ステップS622では、標準文字データ1に含まれる手本の開始点の座標と変換文字データ5における同一画の開始点の座標を比較して絶対的な位置の確認を行う。この絶対的な位置の確認の結果、当該画の絶対的な位置が標準文字データ1における位置と予め定めた一定距離以内であれば正常、一定距離より離れていた場合には異常と判断してその評価結果を総合採点データ7bとして採点結果データベース8に格納する。
図31では、書き始めの相対位置と絶対位置の確認を行う工程を示したが、書き始めの他、書き終わりや画の途中の相対位置や絶対位置に対しても同様に評価を実施してその結果のデータは総合採点データ7bとして採点結果データベース8に格納される。
【0106】図32は、図1のフロー図に示した総合採点処理工程(ステップS7)のうち、一画毎の採点の乗算工程であるステップS71を示すフロー図である。図32において、ステップS711では、図15に示したそれぞれの採点のうち、採点結果データ7aとして採点結果データベース8に格納された採点(1)、(2)、(6)、(7)、(10)、(11)を読み出して乗算する。和算でもよいが、乗算であれば、採点結果のうち1つでもの0が存在する場合には、0点となり、現実的な採点となる。
【0107】ステップS712では、その乗算値をその画の採点として獲得し、総合採点データ7bとして採点結果データベース8に格納する。
ステップS713では全画について終了であれば、ステップS71を終了するが、まだ残りの画があれば画の数をインクリメントして1つ増やし、再度ステップS711から実行する。
【0108】図33は、ステップS7のうちの後半部である総合採点を算出する工程(ステップS72)について説明するためのフロー図である。
図33において、まずステップS721では、誤字判断結果データベース10に格納した誤字判断結果データ9を読み出し、誤字であると判断されたり、あるいは筆順が異なる場合には、その総合採点は0点である旨、総合採点データ7bとして採点結果データベース8に格納する。なお、筆順が異なる場合は、図15に示されるステップS52の画長さ評価やステップS53の開始・終了点評価によって判明し、誤字判断結果データ9として誤字判断結果データベース10に格納されるため、このステップS721において誤字と判断が可能となる。
【0109】また、誤字などでない場合には、ステップS722に進み、先のステップS71で画毎に総合的に採点した画毎の総合採点データ7bを採点結果データベース8から読み出し、画毎の採点結果のうち、最低の採点と最低から2番目の採点を取得する。ここで、ステップS723で2画以上の場合には、ステップS724に進みこの2つの採点データを総合採点データ7bとして採点結果データベース8に格納する。一方、ステップS723で1画と判断される場合には、採点データは1しかなく、本来最低の採点という概念にはそぐわないが、その採点データをそのまま総合採点データ7bとして採点結果データベース8に格納する。
【0110】このように最低の採点を取得することで安全側の採点とすることができるが、特に低い側の採点データを採用することに限定するものではなく、上位の採点を採用したり、あるいは平均値を採用したり、最高と最低の採点を外したデータから採用したりと様々な採点の方法があるので、その目的によって適宜採用するとよい。
【0111】図34は、図1にステップS8として示される出力処理工程の内容を詳細に示すフロー図である。ステップS81では、誤字や筆順の間違いがない場合、ステップS86に移行して採点結果データベース8に格納された総合採点データ7bや誤字判断結果データベース10に格納された誤字判断結果データ9を出力する。ステップS81で誤字や筆順の間違いがあった場合には、ステップS82に進み、間違いの画数が5以上である場合には、ステップS85で全画の色を替えて出力する。なお、画数が少ない場合には半数の画以上間違いである場合として全画の色を替えて出力してもよい。
【0112】間違いの画数が4以下の場合には、ステップS83において間違えた画の色を替える処理を行う。また、ステップS84で間違い画数が連続であるか否かを判断し、連続の場合には筆順が異なるという情報を併せて出力するが、連続でない場合には、その間違いの画のみをそのまま出力する。
ステップS86における出力は画面上に視覚で捉えられるように表示する他、音声によって筆順が異なることや間違えた画の数や何画めかという情報を発生させてもよい。
【0113】以上のような本実施の形態によれば、文字、記号あるいは図形などを手書きで描き、その内容を画毎に評価して記載内容について誤りであるか、あるいは正しいか、さらに正しい場合であっても審美的な形態であるか否かの評価を高い精度で行うことが可能である。すなわち、文字や記号などを全体的に認識して判断するのではなく、いわばパーツに分解してそれぞれを個別に評価してそれを総合的に判断することができるため、より精度が高く詳細な評価を実施することが可能である。
【0114】なお、以上のような本実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムの他、この文字、記号及び図形認識プログラムをコンピュータによって読み取り可能な記録媒体に格納してもよく、このような記録媒体を用いてコンピュータを作動させることによって、以上のようなプログラムを実行可能であり、同様の作用や効果を奏することができる。
【0115】次に、本発明の実施の形態に係る文字、記号及び図形認識システムについて図35及び36を参照しながら説明する。(請求項13及び14に対応)
【0116】図35は本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。文字認識システム71は、システム本体72とそれに接続されるデータベース群から構成されるものであり、システム本体72は、さらに入力部73、文字読取部74、文字倍率解析部75、文字変換部76、文字位置調整部77、文字評価部78及び出力部79から構成される。
【0117】このシステム本体72に接続されるデータベース群には、既に説明したのでここではその構成や内容の説明を省略するが、標準文字データ1を格納する標準文字データベース2、手書き文字データ3を格納する手書き文字データベース4、変換文字データ5を格納する変換文字データベース6、採点結果データ7a及び総合採点データ7bを格納する採点結果データベース8、誤字判断結果データ9を格納する誤字判断結果データベース10、採点値範囲データ45と変換文字書込みデータ46を格納するパターン認識データベース47と最後に標準交差順データ61、交差順番記憶データ62、手書き交差順データ63を格納する交差順データベース64がある。
【0118】入力部73は、タブレットコンピュータなどのような手書き入力が可能な装置を意味しており、この入力部73で描かれた文字や記号あるいは図形は、文字読取部74においてその形状を示す軌跡を一定の間隔の点の集合として読み取り、その点を座標データとして認識することでデジタル化する。デジタル化した手書き文字データ3は、手書き文字データベース4に格納される。
【0119】文字倍率解析部75では、先に文字、記号及び図形認識方法とプログラムの実施の形態において説明したステップS3の倍率演算の処理を行うものである。標準文字データ1と手書き文字データ3の大きさを比較して倍率を求め、その倍率に従って文字変換部76において手書き文字データ3の大きさを拡大あるいは縮小する調整を行って標準文字データ1とデータの大きさを調整する。この処理は先のステップS4として説明した内容と同様である。前述のとおり、画毎に手書きの文字などと比較するため、データの大きさをある程度修正して手本の標準文字データ1と合わせる必要があるのである。
【0120】変換された手書き文字データ3は変換文字データ5として変換文字データベース6に格納される。また、大きさで手本の文字などと同じ程度になった変換文字のデータ座標中の位置を文字位置調整部77において調整する。
【0121】さらに文字評価部78では、先の文字、記号及び図形認識方法と文字、記号及び図形認識プログラムの実施の形態として説明したステップS5、6、7の採点処理あるいは誤字判断処理の内容を実行するものである。この文字評価部78の詳細な構成は図36に示して後述する。
出力部79は、同様に先に説明したステップS8の内容を実行する手段である。
【0122】図36は、文字評価部78の構成を詳細に示す構成図である。
図36において、文字評価部78は、全角位置的評価部80、画毎位置的評価部81、画長評価部82、ベクトル方向評価部83、跳ね方向評価部84、丸評価部85、丸止め評価部86、交差点評価部87、画毎相対関係評価部88及びパターン認識評価部89から構成される。
【0123】全角位置的評価部80は、先に説明した図15のステップS50を処理する手段であり、同様に画毎位置的評価部81はステップS51、画長評価部82はステップS52、ベクトル方向評価部83はステップS53、跳ね方向評価部84はステップS54、丸評価部85はステップS55、丸止め評価部86はステップS56、交差点評価部87はステップS57、画毎相対関係評価部88はステップS58、パターン認識評価部89はステップS59を処理する手段である。本実施の形態では、既にそれぞれのステップの処理内容を説明しているので省略する。
なお、流れについての評価部が本実施の形態においても示されていないが、先に説明したとおり、流れ評価部を設けて評価するとなおよいことは言うまでもない。
【0124】以上のように構成される本実施の形態に係る文字、記号及び図形認識システムにおいても、先の実施の形態と同様に文字、記号あるいは図形などを手書きで描き、その内容を画毎にパーツに分解して評価することで、文字などの正誤や審美性に関する評価を詳細に、しかも高い精度で総合的に行うことが可能である。
【0125】
【発明の効果】
以上説明したように、本発明の文字、記号及び図形認識方法、そのプログラムとそのプログラムを記録したコンピュータ読み取り可能な記録媒体、さらにそのシステムにおいては、手書きの文字、記号あるいは図形をそれらを構成する画毎に分解してデジタルデータとして認識し、予め手本の文字などを同様にデジタルデータとしてデータベースに格納していた標準文字データと、画毎に特徴を比較して画毎に評価を実施し、それらを総合して正誤を評価するため、精度が高く、詳細に文字、記号や図形を学習することが可能である。
【0126】さらに、正誤のみならず正答度を判断するため、全体の中でどの部分が間違っていたのかや、全体的なバランスを崩すのはどの部分であったのかなど審美性についても評価することが可能であり、部分的な間違いを訂正することで美しい文字を書く練習などを行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る文字、記号及び図形認識方法及び文字、記号及び図形認識プログラムのフロー図である。
【図2】本実施の形態における標準文字データの内容を示す模式図である。
【図3】本実施の形態における標準文字データの構造の模式図である。
【図4】本実施の形態における標準文字データの構造の模式図である。
【図5】本実施の形態における標準文字データの構造の模式図である。
【図6】本実施の形態における標準文字データの構造の模式図である。
【図7】本実施の形態における標準文字データの構造の模式図である。
【図8】本実施の形態における標準文字データの構造の模式図である。
【図9】本実施の形態における標準文字データの構造の模式図である。
【図10】本実施の形態における標準文字データの構造の模式図である。
【図11】手書き文字のひらがなの「あ」を示す概念図である。
【図12】本実施の形態に係る文字、記号及び図形認識方法とそのプログラムにおいて手書き文字データと標準文字データの画数を比較するステップS2を示すフロー図である。
【図13】本実施の形態に係るステップS3の詳細を示すフロー図である。
【図14】本実施の形態に係るステップS4の詳細を示すフロー図である。
【図15】本実施の形態に係るステップS5の詳細を示すフロー図である。
【図16】本実施の形態に係るステップS50の詳細を示すフロー図である。
【図17】本実施の形態に係るステップS51の詳細を示すフロー図である。
【図18】本実施の形態に係るステップS52の詳細を示すフロー図である。
【図19】本実施の形態に係るステップS53の詳細を示すフロー図である。
【図20】本実施の形態に係るステップS54の詳細を示すフロー図である。
【図21】本実施の形態に係るステップS55の詳細を示すフロー図である。
【図22】本実施の形態に係るステップS56の詳細を示すフロー図である。
【図23】本実施の形態に係るステップS57aの詳細を示すフロー図である。
【図24】(a)乃至(d)は、それぞれ本実施の形態に係る文字、記号及び図形認識方法と文字、記号及び図形認識プログラムにおける仮交差点の検出方法を説明するための概念図である。
【図25】本実施の形態に係るステップS57bの詳細を示すフロー図である。
【図26】本実施の形態に係るステップS57cの詳細を示すフロー図である。
【図27】本実施の形態に係るステップS58の詳細を示すフロー図である。
【図28】本実施の形態に係るステップS59aの詳細を示すフロー図である。
【図29】本実施の形態に係るステップS59bの詳細を示すフロー図である。
【図30】本実施の形態に係るステップS61の詳細を示すフロー図である。
【図31】本実施の形態に係るステップS62の詳細を示すフロー図である。
【図32】本実施の形態に係るステップS71の詳細を示すフロー図である。
【図33】本実施の形態に係るステップS72の詳細を示すフロー図である。
【図34】本実施の形態に係るステップS8の詳細を示すフロー図である。
【図35】本実施の形態に係る文字、記号及び図形認識システムの概略の構成図である。
【図36】本実施の形態に係る文字評価部の構成を詳細に示す構成図である。
【符号の説明】
1…標準文字データ 2…標準文字データベース 3…手書き文字データ 4…手書き文字データベース 5…変換文字データ 6…変換文字データベース 7a…採点結果データ 7b…総合採点データ 8…採点結果データベース 9…誤字判断結果データ 10…誤字判断結果データベース 11…標準文字 12…データ点 13…第1画 14…第2画 15…第3画 16…交差点 17…交差点 18…交差点 19…交差点 20…流れ箇所 21…文字表示欄22…点位置欄 23…x軸座標欄 24…y軸座標欄 26,26a…跳ね表示欄 27,27a…流れ表示欄 28,28a…丸表示欄 29,29a…丸止表示欄 30,30a…点数欄 31,31a…画数欄 32…総画数 35…交差位置表示欄 36…開始接続相手表示欄 37…開始接続内容表示欄 38…終了接続相手表示欄 39…終了接続内容表示欄 41…点情報表示欄 45…採点値範囲データ 46…変換文字書込みデータ 47…パターン認識データベース 50…標準文字 51…第1画 53…標準文字 54…丸 56…標準文字 58…手書き文字 59…データ点 61…標準交差順データ 62…交差順番記憶データ 63…手書き交差順データ 64…交差順データベース 65…n画線 66…m画線 67…交差点 68…隣接点 69a,69b…周辺点 70a,70b…周辺点 71…文字認識システム 72…システム本体 73…入力部 74…文字読取部 75…文字倍率解析部 76…文字変換部 77…文字位置調整部 78…文字評価部 79…出力部 80…全角位置的評価部 81…画毎位置的評価部 82…画長評価部 83…ベクトル方向評価部 84…跳ね方向評価部 85…丸評価部 86…丸止め評価部 87…交差点評価部 88…画毎相対関係評価部 89…パターン認識評価部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a character, symbol, and graphic recognition method for recognizing a drawn character, symbol, or figure, and comparing and evaluating the drawn character, symbol, or figure with an example of the character, symbol, or figure, a program, a recording medium storing the program, and a character. , Symbol and figure recognition systems.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, many devices have been invented for drawing characters, symbols, figures, and the like on a tablet or the like, reading the contents thereof, and evaluating the score based on the contents.
For example,
According to such a technique, it is possible to clarify the content of the sentence described as an answer by linguistic analysis as well as a simple choice problem, and to determine whether or not the answer is correct in light of the model answer Become.
[0003] Further,
According to such a technique, character information described in an entry section of a predetermined sheet is recognized and compared with reference data, so that not only a mark sheet method and a multiple-choice answer method but also a text answer Can also be scored.
Further,
[0005]
[Patent Document 1]
JP-A-2001-56634
[Patent Document 2]
JP 2001-154573 A
[Patent Document 3]
JP-A-11-31046
[0006]
[Problems to be solved by the invention]
In these character recognition techniques described above, the techniques disclosed in
However, when judging the correctness of each character, symbol, or figure, it is necessary to compare each of the pictures or parts thereof, and for that purpose, first, a handwritten character and the like must be compared with the model. It is necessary to unify the size of characters and the like to be displayed. There is no description of a technique in consideration of such points, and it is determined whether handwritten characters and the like are erroneous, and if the characters are correct, the stroke order and shape are recognized to determine the quality. There was a problem that it was not possible.
In the technique disclosed in
The present invention has been made in view of such conventional circumstances, and digitizes handwritten characters, symbols, or figures, and compares and compares the characters with a model for each image to determine whether the character is correct or incorrect. It is an object of the present invention to provide a method for recognizing symbols and graphics, a program thereof, a computer-readable recording medium storing the program, and a system for recognizing characters, symbols and graphics.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a method for recognizing a character, a symbol and a figure according to the first aspect of the present invention includes a step of reading a handwritten character, a symbol or a figure and generating digitized handwritten data; Or comparing the digitized standard data and the handwritten data for each image to determine whether the handwritten character, symbol or figure is correct or not, and the degree of correctness and correctness of the handwritten character, symbol or figure. Is output.
In the character, symbol, and graphic recognition method having the above configuration, the character, symbol, and graphic are decomposed into constituent elements by comparing and collating the handwritten data and the standard data for each image, and their correctness and correctness are determined. It has the effect of being done.
According to a second aspect of the present invention, there is provided a method for recognizing a character, a symbol, or a figure, comprising the steps of reading a handwritten character, a symbol, or a figure and generating digitized handwritten data; A step of comparing the standard data obtained by digitizing the figure and the handwritten data to obtain a magnification for matching the size of the handwritten character, symbol or figure to the size of the model character, symbol or figure, and using the magnification A step of converting the handwritten data to generate converted data; a step of comparing the converted data with the standard data for each image to determine whether a handwritten character, a symbol or a figure is correct or not, or a degree of correct answer; It has a step of outputting the correctness and correctness of a symbol or a graphic.
In the character, symbol, and graphic recognition method having the above-described configuration, the magnification acts to convert the handwritten data into converted data that can be compared with the standard data.
According to a third aspect of the present invention, there is provided a program for recognizing a character, a symbol, or a figure, comprising: reading a handwritten character, a symbol, or a figure into a computer to generate digitized handwritten data; A step of storing in a recording medium, reading standard data obtained by digitizing a model character, symbol or figure stored in advance in a second recording medium, and converting the handwritten data read from the first recording medium for each image. The steps of comparing and collating to determine the correctness, correctness, or correctness of the handwritten character, symbol, or graphic, and outputting the correctness, correctness, and correctness of the handwritten character, symbol, or graphic are executed.
In the character, symbol and graphic recognition program having the above configuration, the invention described in
According to a fourth aspect of the present invention, there is provided a program for recognizing a character, a symbol, or a figure, comprising: reading a handwritten character, a symbol, or a figure and generating digitized handwritten data; Comparing the step of storing in the first recording medium with the standard data of digitized example characters, symbols or figures stored in advance in the second recording medium, and comparing the handwritten data read from the first recording medium Obtaining a magnification that matches the size of the handwritten character, symbol or graphic with the size of the model character, symbol or graphic, and converting the handwritten data using the magnification to generate converted data Storing the converted data on a third recording medium, reading the converted data and the standard data from the third and second recording media, and comparing and comparing each image. Handwriting, comprising the steps of determining the correctness or correct degree of symbols or figures, is intended to execute a process of outputting the correctness and correctness of the handwritten characters, symbols or graphics.
In the character, symbol and graphic recognition program having the above configuration, the invention described in
According to a fifth aspect of the present invention, there is provided a program for recognizing characters, symbols, and graphics, wherein the conversion of the handwritten data using the magnification of the fourth aspect of the invention to generate the converted data is performed. The number of coordinate point data of the data is substantially the same as the number of coordinate point data of the standard data. Therefore, there is an effect that the coordinate point data is compared approximately one by one, in addition to the effect of the invention described in claim 4.
According to a sixth aspect of the present invention, there is provided a character, symbol and graphic recognition program according to any one of the third to fifth aspects, wherein the standard data is digitized for each character image. The handwritten data of handwritten characters to be read is also digitized as coordinate point data for each image.
In the character, symbol and graphic recognition program having the above configuration, in addition to the effect of the invention according to any one of
Furthermore, the character, symbol and graphic recognition program according to the invention according to
In the present invention, the stroke count data, the feature information data, and the intersection information data provided in the standard data can recognize handwritten data in more detail, and act so that correctness / incorrectness and correctness can be more accurately determined.
The character, symbol and graphic recognition program according to the invention according to
The present invention has an effect of calculating the bounce angle of the hand-drawn character from the coordinate point data of the standard data and the coordinate point data of the conversion data, and comparing the calculated bounce angle to evaluate the bounce included in the hand-written character.
According to a ninth aspect of the present invention, there is provided a character, symbol and graphic recognition program according to the present invention, wherein the handwritten data read from the first recording medium or the converted data read from the third recording medium and the converted data read from the second recording medium are read. The process of comparing and collating the standard data with each other for each image to determine the correctness / incorrectness and correctness of handwritten characters, symbols or figures is performed when the presence of a circle is indicated in the characteristic information data of the standard data. The method includes a step of calculating a distance between the coordinate point data of the start point and the end point of the conversion data of each image, and a step of determining whether the character is correct or incorrect based on the distance.
For example, the character “ぴ” of Hiragana includes a circle, and the present invention is for judging whether such a character is handwritten or not and the degree of correct answer. When such a character is drawn, the circle included in the handwritten character should have the starting point and the ending point coincident. Therefore, the characteristic information data is used to determine the correctness of the character and the degree of correctness of the character. This has the effect of being used to calculate the distance between the start point and the end point of the image conversion data.
According to a tenth aspect of the present invention, there is provided the character, symbol and graphic recognition program according to the seventh aspect of the present invention, wherein the handwritten data read from the first recording medium or the conversion data read from the third recording medium. The step of comparing and collating the data with the standard data read from the second recording medium for each image and judging the correctness of the handwritten character, symbol or figure and the degree of correct answer is based on the presence of the rounding in the characteristic information data of the standard data. Calculating the end point of the converted data of each image of the handwritten character and the distance from the end point to a plurality of preset points, respectively, and the degree of correctness or correctness of the character based on the distance. Is determined.
In the present invention, for example, the end of the character "R" of Hiragana is stopped so as to include a circle. However, the present invention is for judging whether such a character is handwritten or not and the degree of correctness. When such a character is drawn, the end point of the image should match any part of the self-drawn image in the circle stop included in the handwritten character. This has the effect of being used for calculating the end point of the converted data of each image of the character and the distance to a plurality of points obtained by reversing from the end point.
According to the eleventh aspect of the present invention, there is provided the character, symbol and graphic recognition program according to the seventh aspect, wherein the handwritten data read from the first recording medium or the conversion data read from the third recording medium are used. The step of comparing and collating the data with the standard data read from the second recording medium for each image and judging the correctness of the handwritten character, symbol or figure and the degree of correct answer indicates the presence of the intersection in the intersection information data of the standard data. Detecting the intersection from the coordinate point data of the converted data of each image of the handwritten character and assigning an intersection code to the coordinate point data of the intersection; The method includes a step of assigning a number in a forward direction or a reverse direction with respect to the writing order of the picture, and a step of judging whether the character is correct or not based on the peripheral number of each picture at the intersection.
In the present invention, for example, there is a portion where the images intersect in the character of "a" in hiragana, and the present invention is for judging the correctness and correctness of such a handwritten character. When such characters are drawn, the intersection included in the handwritten characters should occur at a place where a fixed image and an image are almost determined by the character. Is used to determine the intersection from the converted data of each image of the character and to detect the direction of intersection.
According to a twelfth aspect of the present invention, there is provided a computer-readable recording medium storing the character, symbol and graphic recognition program according to any one of the third to eleventh aspects. According to the present invention, a recording medium on which a program is recorded is licensed, and its operation is the same as that of each of the third to eleventh aspects.
According to a thirteenth aspect of the present invention, there is provided a character, symbol and graphic recognition system for inputting a handwritten character, symbol or graphic, and reading a handwritten character, symbol or graphic connected to the input unit. A reading unit that digitizes and generates handwritten data, and reads out the features of characters, symbols, or figures included in the handwritten data from the reading unit for each image, and digitizes the model characters, symbols, or figures with standard data. It has an evaluator for comparing and collating each image to determine the degree of correctness or correctness of a handwritten character, symbol or figure, and an output section for outputting correctness, correctness and correctness of a handwritten character, symbol or figure.
The character, symbol, and graphic recognition system configured as described above is an invention in which the character, symbol, and graphic recognition method described in
According to a fourteenth aspect of the present invention, there is provided a character, symbol and graphic recognition system for inputting a handwritten character, symbol or graphic, and reading a handwritten character, symbol or graphic connected to the input part. A reading unit for digitizing and generating handwritten data, a first recording medium for storing handwritten data, a second recording medium for storing standard data obtained by digitizing model characters, symbols, or graphics; By comparing the handwritten data read from the second recording medium with the standard data read from the second recording medium, the magnification at which the size of the handwritten character, symbol or figure matches the size of the model character, symbol or figure is determined. A magnification analysis unit to be sought, a conversion unit that converts the handwritten data using the magnification to generate conversion data, a third recording medium that stores the conversion data, and a third storage medium that stores the conversion data and the standard data. An evaluation unit that reads each of the recording medium and the second recording medium and compares and matches each image to determine whether the handwritten character, symbol, or figure is correct or incorrect or correct; and determines the degree of correctness, correctness, and correctness of the handwritten character, symbol, or figure. And an output unit for outputting.
The character, symbol, and graphic recognition system configured as described above is an invention in which the character, symbol, and graphic recognition method described in
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a character, symbol, and graphic recognition method, a program thereof, and a computer-readable recording medium storing the program according to the present invention will be described with reference to FIGS. (Corresponding to
The present embodiment is a method or a program provided for recognizing handwritten characters, symbols, or graphics, and judging the beauty or workability of the characters, symbols, or graphics when correct or incorrect. Specifically, for example, it is used in a case where an elementary school student learns hiragana and kanji using a pen input device such as a tablet computer.
FIG. 1 is a flowchart of a character, symbol and graphic recognition method and a character, symbol and graphic recognition program according to an embodiment of the present invention. In the description of the present embodiment, first, a method of recognizing handwritten characters and performing a scoring process will be described.
In FIG. 1, first, step S1 shows a handwritten data input step. In this handwritten data input step, characters are input by hand into a device such as a tablet computer that can follow a trajectory, the trajectory is read as a set of points at a fixed interval, and the points are recognized as coordinate data. Digitize by doing. The digitized
Step S2 shows a step of comparing the number of strokes of the
Like the
If the number of strokes is equal, the magnification of the
After the calculation of the magnification is completed, enlargement or reduction is performed according to the magnification, and data conversion is performed to make the size substantially the same as the
Step S5 shows a scoring process. In step S5, the evaluation based on character information such as the length of the image, bouncing, circles, and round stops, the evaluation regarding intersections, and the like, from the basic evaluation in full-width to the basic evaluation of each image, are performed. . The scored result is stored in the scoring
Step S6 shows a process of determining an erroneous character when the number of strokes is different in step S2, or when a necessary condition for establishing a character is not satisfied in step S5. The result of the typographical error determination is stored in the typographical
Step S7 is a step of receiving the scoring process in step S5 and performing comprehensive scoring. In step S7, unlike the typographical error determination process in step S6, based on the assumption that the character is established, the quality of the aesthetic appearance such as the balance between the sides of the character and the structure, the position of the bounce, and the intersection is determined. Is to be scored. The comprehensive scoring result is stored in the scoring
In response to the scoring and judgment of steps S7 and S6, step S8 is a step of outputting the result. The output method is not limited to any method, such as a method of displaying on a computer screen, a method involving sound, and a method of printing on a printer. In addition, it is preferable that a specific portion is colored in, for example, red, hatched, the density of characters is changed, or a point that a learner should pay attention to is emphasized.
Next, a character, symbol and graphic recognition method and a character, symbol and graphic recognition program according to the present embodiment will be described with reference to a specific example shown in FIG.
FIG. 2 is a screen for editing the contents of the
The characteristics of the character "A" will be described. In the
For such
In FIG. 3, hiragana "a" is written in a
In the x-axis coordinate
However, the
Further, when a bounce exists in the
FIG. 4 shows a page of the data sheet next to FIG. 3, in which the numerical value shown in the
FIG. 5 shows a screen for editing positional information, such as intersections, in the
In the
As for the information on the intersection, “2, 1, 45” is first shown in the intersection
Here, the forward direction is handled only in the case of the self-portrait, but is called the forward direction when the direction of the writing order of the partner of the self-portrait proceeds from the left side of the self-portrait that is about to intersect. If it is proceeding from the right side of the self-portrait, it is called the opposite direction. When the intersection is shared with another image as in this case, it does not matter whether the direction is the forward direction or the reverse direction, and "1" is stored in any case. Therefore, strictly speaking, at the intersection with another image, it is not recognized whether the direction is the forward direction or the reverse direction.
The start connection
The point
The data related to the
[0042]
[Table 1]
Table 1 shows the structure of the
Since there is only one crossing partner, crossing point, and crossing direction in the case of the first image, only one set is stored as described above. For example, in the case of the third image, the intersection with the own image is also included. Since there are three locations, three sets of data are stored.
Next, FIG. 6 is a diagram showing the
The first “1, 1, 28” means that the
In addition, the same parts as those in FIG. 6 to 10, the same parts as those in FIGS. 2 to 5 are denoted by the same reference numerals, and the description of the configuration will be omitted.
FIG. 7 is a view showing the
There are four intersections displayed in the intersection
The second “2, 1, 16” indicates that the
Next, the data structure will be described with reference to FIG. 8 which uses data on hiragana "i".
FIG. 8 is a conceptual diagram showing the hiragana character "i" of the
FIG. 9 is a conceptual diagram showing the hiragana “@” of the
Finally, FIG. 10 is a conceptual diagram showing the hiragana character “ru” of the
As described above, the
On the other hand, with reference to FIG. 11, description will be given of handwritten character data scored while comparing and collating with the
FIG. 11 is a conceptual diagram illustrating the hiragana character “A” of the
Table 2 shows the data structure of the
[0051]
[Table 2]
The contents of the
FIG. 12 is a flowchart showing the step S2 for comparing the number of strokes of the
In FIG. 12, a character input by handwriting is digitized and stored as
FIG. 13 is a flowchart showing details of step S3 in the flowchart shown in FIG. The
First, in step S31, the
Thereafter, when performing the magnification conversion, the magnification is calculated in step S32. Specifically, this calculation is performed by obtaining the magnification of the height and width of the x-axis and y-axis using the data of all the images for each image of the
In step S33, the magnification ratio is detected from the height of each of the x-axis and the y-axis, and is compared with a predetermined range. This defined range refers to the limit magnification ratio at which the subsequent scoring process is determined to be possible. If it is higher than this, the ratio of the x-axis and y-axis whose magnification ratio is closer to 1 is used. .
If it is within the specified range, the magnification ratio of each axis is selected and used in step S34.
If the magnification conversion is not performed in step S31, the conversion using the magnification is not performed. Therefore, the
FIG. 14 is a flowchart showing details of step S4 in the flowchart shown in FIG. Step S4 is a process of adjusting the center of gravity in consideration of a case where the
In step S41, the center of gravity of each of the handwritten character and the model character is calculated using the
In step S44, it is confirmed whether or not the process has been completed for full-width characters. If not, the number of strokes is incremented, and the process returns to step S43 to adjust the positions of the second and third strokes and the center of gravity. When the center of gravity adjustment is completed up to the final image, the converted
FIG. 15 is a flowchart showing details of step S5 in the flowchart shown in FIG. Step S5 is a step of performing a scoring process, and this step includes ten steps from step S50 to step S59, as shown in detail in FIG.
In step S50, the height, width, center of gravity position, upper end, and lower end in full-width are evaluated. When the magnification conversion is performed, although the position of the center of gravity is adjusted for each image, the position of the center of gravity is not adjusted, and the position of the center of gravity of the
Taking height as an example of how to deduct the points, the absolute value of the height difference between the
The evaluation data obtained in step S50 is stored in the scoring
In step S51, the height, width, center of gravity position, start position, and end position of each image are evaluated for each image. As shown in FIG. 17, these evaluations specifically execute the same thing as that performed in step S50 for each image. Points are deducted according to a preset difference width or error range (step S511), and starting from the first image and incrementing, it is checked whether full-width is completed (step S512), and the process is performed for each image. Although the process ends when the full-width mode is completed, the evaluation data obtained in step S51 is also stored in the scoring
In step S52 of FIG. 15, the length of the image is evaluated. The evaluation of the length means that a predetermined error range is set in advance, and if the data included in the converted
In step S53 of FIG. 15, the vector direction between two points, the start point and the end point, is evaluated. If the vector direction falls within a preset range, it is determined that the image is a correct character image.
As shown in FIG. 19, first, in step S531, the vector direction between the start point and the end point of each image is compared between the
Step S54 in FIG. 15 evaluates the direction of the bouncing motion. If it is confirmed that the bouncing direction is a certain direction, it is determined that the character image is correct.
As shown in FIG. 20, first, in step S541, it is confirmed whether or not there is a bounce in the first stroke of the
If there is a bounce, the process moves to step S542 to compare the bounce angle of the
Then, in step S543, it is confirmed whether or not the full-width mode has been completed. If an image still remains, the image is incremented to determine whether or not the next image has bounced (step S541). Are compared (step S542). The result determined for each bounce is stored in the erroneous character
Although the evaluation of the flow is not described in FIG. 15, the evaluation of the flow is executed similarly to the evaluation of the bounce. The presence / absence of a flow is checked for each image in the
If it is determined that the character is erroneous, the resulting data is stored in the erroneous character
Step S55 in FIG. 15 is to perform circle evaluation. More specifically, as shown in FIG. 21, it is checked in step S551 whether the first stroke of the
If it is a circle, the process advances to step S562 to calculate the distance between the start point and the end point of the circle image in the converted
When the calculation and the scoring evaluation are completed, it is determined in step S553 whether or not the full width has been completed. If there is still an image left, the image is incremented and the next image is executed from step S551. When the processing is completed for all the images, the rounding evaluation in the next step S56 is executed.
The rounding evaluation in step S56 in FIG. 15 is for evaluating whether or not the rounding is completed at the end point of the stroke. In detail, as shown in FIG. 22, it is checked in step S561 whether or not the end point of the
As shown in step S562, the evaluation of the rounding is performed by going back from a point returning to 10 points with respect to the end point included in the converted
Therefore, in order to return 10 points from the end point, the distance from the end point to the 153rd point from the 218th point is calculated. Then, the point at which the calculated distance is closest and the distance are obtained and the evaluation is performed. A distance close to 0 is set as a predetermined specified value, and a point closer than this specified value is determined. If it does not exist, or if it crosses before the end point, it is also determined that the character is erroneous. In addition, the proximity should originally be a distance of almost 0, but scoring is performed according to the degree of the proximity distance.
It should be noted that the reason why the point returns from the end point by 10 points is that there is a possibility that it may be erroneous to determine whether or not it is close to the end point near the end point and that it is rounded. However, it is needless to say that these 10 points are not particularly limited to this number, and may be appropriately determined. Further, it is needless to say that the return point is not limited to two-thirds, and may be three-fourths as appropriate. .
The data of the result determined as the typographical error is stored in the typographical
Next, step S57 in FIG. 15 performs intersection evaluation. In addition to the evaluation of characteristic information data such as bouncing, flowing, circles and round stops, the evaluation of intersections existing in characters is performed to more accurately evaluate handwritten characters. This intersection evaluation will be described with reference to FIGS.
First, as shown in FIG. 23, at step S57a1, the intersection information data of all the standard characters is read from the
Next, in step S57a2, an image serving as a reference for investigation is set to n, and an image serving as a partner is set to m, and the initial value is set to 1 in each case. In step S57a3, a temporary intersection is detected. This detection method will be described with reference to FIGS.
In FIG. 24 (a), the squares of the grid indicate the coordinates of the x-axis and the vertical indicate the coordinates of the y-axis, and a lowercase letter a indicates the
FIG. 24B shows the range indicated by the reference symbol B in FIG. 24A. Even if the area is obliquely lost, it is recognized as a
Next, returning to FIG. 23, in step S57a4, a number is assigned near the temporary intersection. A method for assigning a number near the intersection will be described with reference to FIGS.
As shown in FIG. 24C, a lowercase d is substituted for the data of the
These
In step S57a5, the presence or absence of intersection is evaluated. In the case shown in FIG. 24D, when a peripheral point is checked clockwise from a
On the other hand, if the peripheral point next to the
Here, when it is determined that the peripheral points of the n-
In step S57a6, the intersection direction is analyzed. Since the numbers assigned to the peripheral points are numbered from the upstream side as odd numbers and even numbers, it is determined from which direction each image enters this intersection. It is to be analyzed.
Although the intersection with another image is taken as an example in FIGS. 24A to 24D, the analysis of the intersection and the direction of the intersection can be similarly performed at the intersection of the own image. For example, in FIG. 24 (d), all parts where a lowercase b is arranged as the
When the analysis of the intersection direction is completed, the evaluation data related to the intersection is stored in the
In step S57a7 of FIG. 23, it is determined whether or not the m picture to be investigated is the last picture. If not, the other picture is incremented with respect to the same examination reference picture. Then, the process is executed again from the detection of the temporary intersection. In the case of the last image, the process proceeds to step S57a8, where it is determined whether or not the n image serving as the reference for the investigation is the last image. From the detection of the intersection. When the reference n image is completed up to the final image, the process of acquiring data on the presence or absence of an intersection and the intersection direction is completed.
Next, as shown in FIG. 25, the order of the intersection
In FIG. 25, in step S57b, a process of reading the intersection
Since numerical values are assigned to the peripheral points of the intersection for each image, it is possible to rearrange them in the order of intersection. In this way, first, the intersections are arranged in order and then compared with the standard
FIG. 26 shows a step of scoring and evaluating the arranged intersection (step S57c). In FIG. 26, in step S57c1, n is set to 1 in order to select the first image as the image used as a reference for the intersection investigation. The standard
Of course, depending on the character, it is considered that an intersection may occur outside of the consciousness of the person who performs handwriting at other places as well as at the starting point.
In step S57c5, if all intersections and directions compared after excluding unnecessary intersections match, the flow proceeds to step S57c9, but if there is still an unmatched intersection, step S57c6. Proceed to.
In step S57c6, if it is determined that the intersection position is close in the standard
Next, step S58 in FIG. 15 will be described with reference to FIG. Step S58 is to evaluate the relative positional relationship of each image. In FIG. 27, first, in step S581, the
In step S582, the converted
As a comparison point, the start point itself, the end point, the middle of the picture, and the like are appropriately compared. This is because the connection between strokes in a kanji or the like may be a start point, an end point, or a substantially middle point.
The contents to be compared include the positional relationship, connection status, distance, and the like based on the starting point, such as connection, perspective, direction, length, and the like. Is to judge. The data of the evaluation result is stored in the erroneous character
Similarly, in step S583, comparison is made with
In step S584, comparison is made in the same manner as in steps S582 and S583 with reference to the middle of the image. When these comparisons are completed, it is determined in step S586 whether all images have been completed. If not, the image is incremented and the process is executed again from step S581. When all the images have been completed, the evaluation of the relative relationship for each image is completed, and the process proceeds to the next pattern recognition evaluation in step S59.
The contents of step S59 shown in FIG. 15 will be described in detail with reference to FIG. In FIG. 28, the pattern recognition evaluation is performed in such a manner that the converted
In step S59a, the process starts from the first image. In step S59a1, the
Next, the reference score value m is set to 100, and in step S59a2, the data of the first stroke of the
Next, in step S59a4, if m is not less than 50, the concentric range is set again by decrementing the point by about 10 points. After setting the range up to 50 and writing the score, the flow shifts to step S59a5. In step S59a5, the points in the two-dimensional array included in the range for each score value and each score value corresponding to that point are stored in the
Subsequently, in step S59a6, the data of the first image in the converted
In step S59a7, the points constituting the character of the converted
In step S59a8, the movement point of the handwritten data is calculated. The moving point means a point constituting a character stroke, and by moving along the points constituting the character and adding them together, a total point for each character stroke is obtained.
In step S59a9, correction is made based on the difference between the total number of points constituting the image included in the
In step S59a10, if the processing has been completed for all the pictures, the smoothness is evaluated in the next step S59b, but if all the pictures have not been scored, the number of pictures is incremented and the second The image and the third image are evaluated.
FIG. 29 is a flowchart for performing evaluation based on smoothness. Smoothness means that the distance between consecutive points among the points constituting the
In the evaluation based on the smoothness, first, in step S59b1, the
Further, an average value is obtained by dividing by the number of all data, a predetermined scoring is performed according to the magnitude of the average value, and the result is stored in the scoring
As above, the entire scoring process in step S5 has been described.
Next, the process of the erroneous character determination process in step S6 in FIG. 1 will be described in detail with reference to FIG. FIG. 30 is a flowchart of step S61 showing a step of collecting feature information for each image and a step of collecting intersection information in step S6. As shown in FIG. 30, the erroneous character
Further, in step S612, evaluation data relating to the number of intersections, the direction of intersection, and the order of intersection are extracted from the erroneous character
FIG. 31 is a flowchart showing step S62 of step S6 for confirming the positional relationship of the image, showing a process for confirming the relative position at the start of writing and a process for confirming the absolute position at the start of writing. It is. The writing start relative position refers to a positional relationship with the start point or the intermediate point of another image with reference to the start point as described above with reference to FIG. In step S621, the erroneous-character
In step S622, the absolute position is confirmed by comparing the coordinates of the start point of the model included in the
FIG. 31 shows the process of confirming the relative position and the absolute position at the start of writing. However, in addition to the start of writing, the relative position and the absolute position at the end of writing and in the middle of the image are similarly evaluated. The resulting data is stored in the scoring
FIG. 32 is a flowchart showing a step S71 which is a multiplication process of the scoring for each stroke in the total scoring process (step S7) shown in the flowchart of FIG. 32, in step S711, of the scores shown in FIG. 15, the scores (1), (2), (6), (7), (7) stored in the
In step S712, the multiplied value is obtained as the score of the image, and stored in the scoring
If it is determined in step S713 that the process has been completed for all the images, the process in step S71 ends. However, if there are still remaining images, the number of images is incremented by one, and the process is executed again from step S711.
FIG. 33 is a flowchart for explaining the step (step S72) of calculating the total score, which is the latter half of step S7.
In FIG. 33, first, in step S721, the erroneous character
If there is no erroneous character, the process proceeds to step S722, where the
By obtaining the lowest score in this way, the score on the safe side can be obtained. However, the present invention is not particularly limited to the use of the lower score data. Alternatively, there are various scoring methods such as adopting an average value, or adopting data from data excluding the highest and lowest scores.
FIG. 34 is a flowchart showing in detail the contents of the output processing step shown as step S8 in FIG. In step S81, if there is no typographical error or erroneous stroke order, the process shifts to step S86 to output the
If the number of erroneous images is four or less, a process of changing the color of the erroneous image is performed in step S83. In step S84, it is determined whether or not the number of erroneous strokes is continuous. If continuous, information indicating that the stroke order is different is also output. If not, only the erroneous stroke is output as it is. .
The output in step S86 may be displayed on the screen so as to be visually perceived, and may also generate information indicating that the stroke order differs depending on the voice, the number of wrong images, and the number of images.
According to the present embodiment as described above, a character, a symbol, a figure, or the like is drawn by hand, and the content is evaluated for each image to determine whether the description is incorrect, correct, or even correct. Even in this case, it is possible to evaluate with high accuracy whether or not it is an aesthetic form. In other words, instead of recognizing and judging characters and symbols as a whole, it is possible to disassemble them into parts and evaluate them individually and judge them comprehensively. An evaluation can be performed.
In addition to the above-described character, symbol, and graphic recognition method and character, symbol, and graphic recognition program according to the present embodiment, the character, symbol, and graphic recognition program is stored on a computer-readable recording medium. The program may be stored, and by operating a computer using such a recording medium, the above-described program can be executed, and the same operation and effect can be obtained.
Next, a character, symbol and graphic recognition system according to an embodiment of the present invention will be described with reference to FIGS. (Corresponding to
FIG. 35 is a schematic configuration diagram of a character, symbol and graphic recognition system according to the present embodiment. The
The database group connected to the system
The
The character
The converted
Further, the
The
FIG. 36 is a configuration diagram showing the configuration of the
In FIG. 36, a
The full-width
Although the flow evaluation unit is not shown in the present embodiment, it is needless to say that the flow evaluation unit should be provided and evaluated as described above.
In the character, symbol, and graphic recognition system according to the present embodiment configured as described above, characters, symbols, figures, and the like are drawn by hand in the same manner as in the previous embodiment, and the contents are drawn for each image. By disassembling and evaluating the parts, it is possible to evaluate the correctness of characters and the like and aesthetics in detail and with high accuracy and comprehensively.
[0125]
【The invention's effect】
As described above, the character, symbol, and graphic recognition method of the present invention, the program thereof, and a computer-readable recording medium storing the program, and further, in the system, the handwritten characters, symbols, or graphics are configured. It is decomposed for each image and recognized as digital data, and the characteristics of each image are compared with the standard character data that previously stored the model characters and the like as digital data in the database, and the evaluation is performed for each image. In order to evaluate correctness by integrating them, it is possible to learn characters, symbols and figures with high accuracy and in detail.
Further, in order to judge not only correctness but also correctness, esthetics such as which part of the whole is wrong and which part breaks the overall balance are also evaluated. It is possible to practice writing beautiful characters by correcting partial mistakes.
[Brief description of the drawings]
FIG. 1 is a flowchart of a character, symbol, and graphic recognition method and a character, symbol, and graphic recognition program according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing contents of standard character data in the present embodiment.
FIG. 3 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 4 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 5 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 6 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 7 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 8 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 9 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 10 is a schematic diagram of a structure of standard character data according to the present embodiment.
FIG. 11 is a conceptual diagram showing a handwritten character Hiragana “A”.
FIG. 12 is a flowchart showing step S2 of comparing the number of strokes of handwritten character data and standard character data in the character, symbol, and graphic recognition method and the program according to the present embodiment.
FIG. 13 is a flowchart showing details of step S3 according to the present embodiment.
FIG. 14 is a flowchart showing details of step S4 according to the present embodiment.
FIG. 15 is a flowchart showing details of step S5 according to the present embodiment.
FIG. 16 is a flowchart showing details of step S50 according to the present embodiment.
FIG. 17 is a flowchart showing details of step S51 according to the present embodiment.
FIG. 18 is a flowchart showing details of step S52 according to the present embodiment.
FIG. 19 is a flowchart showing details of step S53 according to the present embodiment.
FIG. 20 is a flowchart showing details of step S54 according to the present embodiment.
FIG. 21 is a flowchart showing details of step S55 according to the present embodiment.
FIG. 22 is a flowchart showing details of step S56 according to the present embodiment.
FIG. 23 is a flowchart showing details of step S57a according to the present embodiment.
FIGS. 24A to 24D are conceptual diagrams for explaining a character, symbol, and graphic recognition method and a method of detecting a temporary intersection in a character, symbol, and graphic recognition program according to the present embodiment; .
FIG. 25 is a flowchart showing details of step S57b according to the present embodiment.
FIG. 26 is a flowchart showing details of step S57c according to the present embodiment.
FIG. 27 is a flowchart showing details of step S58 according to the present embodiment.
FIG. 28 is a flowchart showing details of step S59a according to the present embodiment.
FIG. 29 is a flowchart showing details of step S59b according to the present embodiment.
FIG. 30 is a flowchart showing details of step S61 according to the present embodiment.
FIG. 31 is a flowchart showing details of step S62 according to the present embodiment.
FIG. 32 is a flowchart showing details of step S71 according to the present embodiment.
FIG. 33 is a flowchart showing details of step S72 according to the present embodiment.
FIG. 34 is a flowchart showing details of step S8 according to the present embodiment.
FIG. 35 is a schematic configuration diagram of a character, symbol, and graphic recognition system according to the present embodiment.
FIG. 36 is a configuration diagram showing in detail the configuration of a character evaluation unit according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF
Claims (14)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003163078A JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003163078A JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004362483A true JP2004362483A (en) | 2004-12-24 |
JP3913712B2 JP3913712B2 (en) | 2007-05-09 |
Family
ID=34054991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003163078A Expired - Fee Related JP3913712B2 (en) | 2003-06-09 | 2003-06-09 | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3913712B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250154A (en) * | 2007-03-30 | 2008-10-16 | Nintendo Co Ltd | Graphic evaluating program and graphic evaluating apparatus |
WO2010105327A1 (en) * | 2009-03-18 | 2010-09-23 | Tata Consultancy Services Limited | Method, system and computer program for generating financial transaction instructions |
JP2010230988A (en) * | 2009-03-27 | 2010-10-14 | Nippon Tokei Jimu Center:Kk | Scoring device and program |
JP2011516924A (en) * | 2008-04-03 | 2011-05-26 | ライブスクライブ インコーポレイテッド | Multi-mode learning system |
JP2012070960A (en) * | 2010-09-29 | 2012-04-12 | Nintendo Co Ltd | Game apparatus, game program, game system and game controlling method |
JP2013167815A (en) * | 2012-02-16 | 2013-08-29 | Bunkeido Co Ltd | System and program for determining hand writing chinese character |
WO2014002673A1 (en) * | 2012-06-26 | 2014-01-03 | Ido Nobuhiko | Question scoring device in which answering is performed using handwritten character input |
JP2018120109A (en) * | 2017-01-26 | 2018-08-02 | 株式会社ジャストシステム | Learning support program, learning support method, and learning support device |
CN110188600A (en) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | A kind of drawing evaluation method, system and storage medium |
CN110753904A (en) * | 2017-09-19 | 2020-02-04 | 深圳市柔宇科技有限公司 | Writing interaction method and device, electronic device and computer readable storage medium |
-
2003
- 2003-06-09 JP JP2003163078A patent/JP3913712B2/en not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250154A (en) * | 2007-03-30 | 2008-10-16 | Nintendo Co Ltd | Graphic evaluating program and graphic evaluating apparatus |
JP2011516924A (en) * | 2008-04-03 | 2011-05-26 | ライブスクライブ インコーポレイテッド | Multi-mode learning system |
US8944824B2 (en) | 2008-04-03 | 2015-02-03 | Livescribe, Inc. | Multi-modal learning system |
WO2010105327A1 (en) * | 2009-03-18 | 2010-09-23 | Tata Consultancy Services Limited | Method, system and computer program for generating financial transaction instructions |
JP2010230988A (en) * | 2009-03-27 | 2010-10-14 | Nippon Tokei Jimu Center:Kk | Scoring device and program |
JP2012070960A (en) * | 2010-09-29 | 2012-04-12 | Nintendo Co Ltd | Game apparatus, game program, game system and game controlling method |
JP2013167815A (en) * | 2012-02-16 | 2013-08-29 | Bunkeido Co Ltd | System and program for determining hand writing chinese character |
WO2014002673A1 (en) * | 2012-06-26 | 2014-01-03 | Ido Nobuhiko | Question scoring device in which answering is performed using handwritten character input |
JP2018120109A (en) * | 2017-01-26 | 2018-08-02 | 株式会社ジャストシステム | Learning support program, learning support method, and learning support device |
CN110753904A (en) * | 2017-09-19 | 2020-02-04 | 深圳市柔宇科技有限公司 | Writing interaction method and device, electronic device and computer readable storage medium |
CN110188600A (en) * | 2019-04-15 | 2019-08-30 | 广东智媒云图科技股份有限公司 | A kind of drawing evaluation method, system and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP3913712B2 (en) | 2007-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Byrd et al. | Towards a standard testbed for optical music recognition: Definitions, metrics, and page images | |
US6215901B1 (en) | Pen based computer handwriting instruction | |
Plamondon et al. | Personal digital bodyguards for e-security, e-learning and e-health: A prospective survey | |
Simonnet et al. | Evaluation of children cursive handwritten words for e-education | |
JP6963302B2 (en) | Kanji learning device | |
CN101326518A (en) | Script recognition for ink notes | |
JP3913712B2 (en) | Character, symbol and figure recognition method, program thereof, computer-readable recording medium storing the program, character, symbol and figure recognition system | |
Taele et al. | Lamps: A sketch recognition-based teaching tool for mandarin phonetic symbols i | |
JPH08161429A (en) | Method and apparatus for recognition of character | |
Jiang et al. | Intelligent understanding of handwritten geometry theorem proving | |
KR20120075587A (en) | Studying system and method using a recognition of handwriting mathematical expression | |
TWI303783B (en) | Method and device for recognition of a handwritten pattern, and computer program product | |
Tan | An algorithm for online strokes verification of Chinese characters using discrete features | |
CN102646201A (en) | Character recognition apparatus and character recognition method | |
Chu et al. | Supporting Chinese Character Educational Interfaces with Richer Assessment Feedback through Sketch Recognition. | |
JP4678671B2 (en) | Handwritten character arrangement shaping method and electronic board system | |
JP2017037125A (en) | Automatic scoring system for performing verification and determination by applying conversion to standard pattern and input pattern for handwriting input character with different configuration of stroke | |
Bezine et al. | Development of an Arabic handwriting learning educational system | |
TW200811765A (en) | Method of learning to write Chinese characters | |
Alyahya et al. | Intelligent ResNet-18 based Approach for Recognizing and Assessing Arabic Children's Handwriting | |
CN114241486A (en) | Method for improving accuracy rate of identifying student information of test paper | |
JP2550323B2 (en) | Character tracing learning device | |
Abdou et al. | Artificial tutor for arabic handwriting training | |
JP5667334B2 (en) | Graphic evaluation program and graphic evaluation apparatus | |
Taele | Freehand sketch recognition for computer-assisted language learning of written east asian languages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060516 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20060620 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070131 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |