JPH081660B2 - Online handwritten figure recognition device - Google Patents
Online handwritten figure recognition deviceInfo
- Publication number
- JPH081660B2 JPH081660B2 JP59149511A JP14951184A JPH081660B2 JP H081660 B2 JPH081660 B2 JP H081660B2 JP 59149511 A JP59149511 A JP 59149511A JP 14951184 A JP14951184 A JP 14951184A JP H081660 B2 JPH081660 B2 JP H081660B2
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- input
- line
- stroke
- handwriting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔発明の利用分野〕 本発明は、手書き図形の認識方式に係り、特にオンラ
イン手書き文書作成システムに好適な図形データ入力方
式に関する。Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a handwritten graphic recognition system, and more particularly to a graphic data input system suitable for an online handwritten document creation system.
大型計算機の普及、情報処理端末の高機能化に帰因し
て、計算機の利用者層が急速に拡大している。これに伴
い、計算機への入力手段の１つとして、手書き入力装置
が注目されてきた。Due to the spread of large-scale computers and the sophistication of information processing terminals, the user base of computers is expanding rapidly. Along with this, a handwriting input device has been attracting attention as one of input means to a computer.
入力される情報は、文字と図形に大別されるが、これ
ら従来例について次に説明する。Information to be input is roughly classified into characters and figures, and these conventional examples will be described below.
〔従来例１〕 手書き文字オンライン認識一般については、日経エレ
クトロニクス:1973,5−７号,P46〜P59に記載されてい
る。このうち、筆跡を短い線分の列として表現し、それ
と辞書の特徴を比較し認識する手法について述べる。[Prior Art 1] Online recognition of handwritten characters in general is described in Nikkei Electronics: 1973, 5-7, P46 to P59. Of these, we describe a method of expressing the handwriting as a sequence of short line segments and comparing it with the characteristics of the dictionary to recognize it.
第11図に、手書き筆跡の平滑化処理を示す。入力した
筆跡をP0〜P3とすると、まずペンをおろした点P0を第１
サンプル点S0とし、このS0を中心にたとえば、半径５の
円を描き、この円外にある次の点P1を得る。そしてP0P1
間をn:mに分割する点を新たなサンプル点S1とする。FIG. 11 shows the smoothing process of handwritten handwriting. If the input handwriting is P 0 to P 3 , the point P 0 where the pen is dropped is the first
A sample point S 0, around this S 0 for example, a circle of radius 5, to obtain the following points P 1 which are outside this circle. And P 0 P 1
A point that divides the space into n: m is set as a new sample point S 1 .
上記処理をペンが上がるまで続け、サンプル点S1ない
しS3を得る。このとき線分S0S1と線分S1S2の角度が所定
値以下ならばサンプル点S0からS2までを一本の線分S0S2
とする。この処理を繰り返し、手書きの筆跡を折れ線
（セグメント）で近似する（第12図）。The above process is continued until the pen is lifted to obtain sample points S 1 to S 3 . At this time, if the angle between the line segment S 0 S 1 and the line segment S 1 S 2 is less than or equal to a predetermined value, the sample points S 0 to S 2 are combined into one line segment S 0 S 2
And This process is repeated to approximate the handwriting with a broken line (segment) (Fig. 12).
筆跡に近似したセグメントデータは、第13図に示すよ
うな文字識別樹木を用いて特定の文字として認識する。The segment data similar to the handwriting is recognized as a specific character by using a character identification tree as shown in FIG.
この例は、方向コード法と呼ばれる手法で、平滑化処
理でサンプリングした点S0ないしS3を次々と継いで筆跡
を複数の線分に分解している。この結果、短い筆跡（例
えば漢字等の字画）に対しては、入力の際の手ぶれが少
ないため、その筆跡の線分化に有効であるが、図形を入
力する際の長い筆跡で生じる手ぶれを吸収するには、不
十分である。つまり手ぶれを吸収する場合には線分比を
複数回繰返す必要があつた。In this example, a method called a direction code method is used, in which points S 0 to S 3 sampled by smoothing processing are successively connected to decompose a handwriting into a plurality of line segments. As a result, for short handwriting (for example, strokes such as kanji), there is less camera shake when inputting, so it is effective for line segmentation of the handwriting, but it absorbs camera shake that occurs with long handwriting when inputting a figure. Is insufficient to That is, when absorbing camera shake, it is necessary to repeat the line segment ratio multiple times.
また、この例では、筆跡数を文字大分類の一要素とし
ているため、続け書きに対しては新たな識別手法を案出
する必要があつた。Further, in this example, since the number of handwritings is one of the elements of the character classification, it is necessary to devise a new identification method for continuous writing.
〔従来例２〕 他の従来技術について電子通信学会論文誌′84/3 vo
l.J67−D No.3“接続ルールを導入した候補ラテイス法
によるオンライン手書き線図形認識”村瀬ら（電々公社
武蔵野通研）で述べられている図形認識方式について以
下説明する。[Conventional example 2] Other conventional technologies The IEICE Transactions on Paper '84 / 3 vo
l.J67-D No.3 “Online handwritten line pattern recognition by the candidate lattice method with connection rule introduced” The graphic recognition method described in Murase et al.
上記図形認識方式は「候補ラテイス法」と呼ぶ。第14
図に上記方式のアルゴリズムのフローを示す。The figure recognition method is called a "candidate lattice method". 14th
The figure shows the algorithm flow of the above method.
〔処理１ 候補図形抽出〕 入力ストロークの始終点座標Ｐを或るシンボルＧ（全
辞書図形を対象とする）の特徴点と対応付け、シンボル
Ｇの特徴点Pi（ｉ＝１…n,n:シンボルＧの特徴点数）の
全てを通過する一筆書きストローク列の組合わせを複数
発生する。この時、上記入力ストローク列と該発生した
一筆書きストローク列が矛盾しなければ、このシンボル
Ｇを候補図形GCとする。これを“一筆書きパターンによ
る候補図形GCの抽出”と言い、手書きによる図形の変形
を吸収しながら辞書図形の大分類を行う一方式である。
以下、上記一筆書きストロークを候補ストロークと言
う。[Process 1 Candidate Figure Extraction] The start / end point coordinates P of the input stroke are associated with the feature points of a certain symbol G (targeting all dictionary figures), and the feature points Pi of the symbol G (i = 1 ... n, n: A plurality of combinations of one-stroke writing stroke sequences that pass all the (characteristic points of the symbol G) are generated. At this time, if there is no contradiction between the input stroke sequence and the generated one-stroke writing stroke sequence, the symbol G is set as the candidate figure G C. This is called “extraction of candidate figure G C by one-stroke writing pattern”, which is a method of roughly classifying dictionary figures while absorbing the deformation of the figure by handwriting.
Hereinafter, the above-mentioned one-stroke writing stroke is referred to as a candidate stroke.
ただし、本方式では、入力図形が大きく傾いていた場
合についての上記特徴点とストロークとの一致検出に関
しては考慮していない。However, this method does not consider the detection of coincidence between the feature point and the stroke when the input figure is greatly inclined.
〔処理２ 相違度の計算〕 本候補ラテイス法では、特徴点とストローク間のユー
クリツド距離に加え、各特徴点に対応するストローク部
分の接線方向についても評価したダイナミツクプログラ
ミング（以下DP）マツチングを採用している。この時、
相違度d2は、 ここで、（xm,ym）は、入力ストロークの座標系列 （ｘ′u(m),y′u(m)は、候補ストロークの座標系列 ｕ（ｍ）＝ｕ（１）＝1:始点 ｕ（Ｍ）＝M:終点 ｕ（ｉ）＝ｊのとき a:定数 上記（１）式の右辺｛ ｝内第１項、第２項は入力ス
トローク端点と辞書図形の特徴点とのユークリツド距離
を示し、第３項が特徴点（ｘ′m,y′ｍ）における、入
力ストロークと候補ストロークの接線方向の差を示す。[Process 2 Calculation of dissimilarity] In this candidate lattice method, dynamic programming (hereinafter referred to as DP) matching is adopted which evaluates not only the Euclidean distance between feature points and strokes but also the tangential direction of the stroke part corresponding to each feature point. are doing. This time,
The difference d 2 is Here, (x m , y m ) is a coordinate series of input strokes (x ′ u (m) , y ′ u (m) is a coordinate series of candidate strokes u (m) = u (1) = 1: When starting point u (M) = M: end point u (i) = j a: constant The first and second terms in {} on the right side of the above equation (1) represent the Euclidean distance between the input stroke end point and the feature point of the dictionary figure, and the third term is the feature point (x ′ m , y ′ m ). , Shows the tangential difference between the input stroke and the candidate stroke.
〔処理３ 候補ラテイスの採策〕 前記処理１で抽出した図形全てについて前記処理２の
相違度計算を行い、その結果を第15図に示すようなテー
ブルにする。そこで、最適な図形列として、上記テーブ
ルから考えられる全ての図形列の中より、相違度の和が
最も小さいものを選ぶ。[Process 3 Candidate Lateness Measures] Dissimilarity calculation of the process 2 is performed for all the graphics extracted in the process 1, and the result is made into a table as shown in FIG. Therefore, as the optimum graphic string, the one having the smallest sum of differences is selected from all graphic strings considered from the above table.
以上のような処理１−３を行うことにより、図形の画
数、筆順、セグメンテーシヨンに依存せずに手書き図形
を認識できるが、 図形の他の図形との続け書き 図形の回転 が発生した時の認識手段については考慮されていない。By performing the above processing 1-3, handwritten figures can be recognized without depending on the number of strokes of the figure, stroke order, and segmentation. However, when the figure is continuously written with other figures, rotation of the figure occurs. Is not taken into consideration.
本発明の目的は、図形と接続線が一つに組み合わされ
たストロークが入力された場合においても良好に認識し
得るオンランイン手書き図形認識装置を提供することを
目的とするものである。It is an object of the present invention to provide an on-run in-hand handwritten figure recognition device that can recognize well even when a stroke in which a figure and a connection line are combined is input.
本発明の特徴は、手書きにより入力されたストローク
を複数の線分に分割する線分分割手段と、この分割され
た線分によりなる線分群のうち最初と最後の線分から交
互に１本又は複数本削除した線分の組合せを求める線分
要素再構成手段とを設け、前記求められた線分の組合せ
と辞書図形との間で類似度の評価を行ない、前記辞書図
形に対応する線分群を切り出すことにより、仮りに接続
線が付された図形が続け書きにより入力された場合であ
つても、自動的に図形を切り出し良好に認識することが
可能となり、マンマシン性が向上されることにある。A feature of the present invention is that a line segment dividing unit that divides a stroke input by handwriting into a plurality of line segments, and one or a plurality of line segments alternately formed from a first line segment and a last line segment of the line segment group formed by the divided line segments. A line segment element reconstructing unit that obtains a combination of the deleted line segments is provided, and the degree of similarity between the obtained combination of line segments and the dictionary graphic is evaluated, and a line segment group corresponding to the dictionary graphic is obtained. By cutting out, even if a figure with a connection line is input by continuous writing, it will be possible to automatically cut out the figure and recognize it well, improving man-machine performance. is there.
第１図に、本発明の用いたオンランイン手書き図形認
識装置を示す。FIG. 1 shows an on-line-in handwritten pattern recognition device used in the present invention.
ユーザーはタブレツト100上に手書き図形を描く。こ
の時、タブレツト100は、一定時間毎に手書き筆跡の座
標をサンプリングし、図形認識装置200に座標信号を送
出する。The user draws a handwritten figure on the tablet 100. At this time, the tablet 100 samples the coordinates of the handwritten handwriting at regular intervals and sends a coordinate signal to the figure recognition device 200.
図形認識装置200は、一筆描き（ストローク）毎に上
記サンプリングした上記座標信号を取り込み、以後一筆
描き毎に認識処理を繰返す。認識結果は、入力図形の大
きさ、角度を示すパラメータと共に図形コードが図形表
示装置300へ送られる。The figure recognition device 200 takes in the sampled coordinate signal for each stroke (stroke) and thereafter repeats the recognition process for each stroke. As the recognition result, a graphic code is sent to the graphic display device 300 together with parameters indicating the size and angle of the input graphic.
図形表示装置300は、上記認識結果の図形コード等を
ビツトマツプメモリに展開し、ビデオ信号によりCRT400
に表示する。CRT400に表示された上記認識結果は、ビツ
トマツプ信号により上記図形表示装置300に接続したプ
リンタ500により、ハードコピーを取ることが可能であ
り、また図形コード信号を同接続した外部記憶装置600
に格納することも可能である。The graphic display device 300 develops the graphic code or the like of the above recognition result in the bit map memory and outputs it to the CRT 400 by the video signal.
To be displayed. The recognition result displayed on the CRT 400 can be taken as a hard copy by the printer 500 connected to the graphic display device 300 by a bit map signal, and an external storage device 600 connected with the graphic code signal can be used.
It is also possible to store in.
これら各部の処理は実時間で実行できるため、本装置
はオンライン手書き図形認識装置として機能することが
できる。Since the processing of each of these units can be executed in real time, this device can function as an online handwritten pattern recognition device.
タブレツト100から図形を入力する際に、“画数”
“筆順”“回転”“区切り”等が制約を受けないことと
するため、本発明は、図形の構成単位が線分であり、図
形の形状は当該線分の接続順序、角度差で決定されるこ
とを前提として構成されている。"Number of strokes" when inputting figures from the tablet 100
Since the "stroke order", "rotation", "separation", etc. are not restricted, the present invention uses a line segment as a structural unit of the figure, and the shape of the figure is determined by the connection order and angular difference of the line segment. It is configured on the assumption that
ここで“画数”とはペンダウンからペンアツプまでを
１ストロークとみなす際の、１つの図形を書く時に要し
たストローク数“筆順”とは図形を描く時のストローク
の順序、“回転”とは標準図形に対する入力図形の角
度、“区切り”とは入力ストローク中の図形に対応する
範囲の指示である。Here, the "stroke count" is the number of strokes required to write one figure when considering from pen down to pen up as one stroke "stroke order" is the order of strokes when drawing a figure, and "rotation" is a standard figure The angle of the input figure with respect to, "break", is an instruction of the range corresponding to the figure in the input stroke.
本発明は大別して２つの特徴部分を有する（第２
図）。即ち、辞書図形とのマツチング処理を行う線分セ
グメント手段と、入力したストロークの中から図形を切
出す一次元線分ダイナミツクプログラム手段である。The present invention is roughly divided into two characteristic portions (second
Figure). That is, there are line segment segment means for performing a matching process with a dictionary figure and one-dimensional line segment dynamic program means for cutting out a figure from an input stroke.
線分セグメント手段は、さらにストロークを後述の処
理の基本単位に分割する線分要素化、図形を包むように
追跡してコードリストを生成するコードラツピング、入
力図形の回転に対して普遍的な角度変化による相違度計
算の３つから成る。The line segment segmenting means further divides the stroke into basic units for processing described later, line segment elements, code wrapping that traces the figure so as to wrap it to generate a code list, and universal angle for rotation of the input figure. It consists of three different degrees of difference calculation.
この手段により既述の“画数”ないし“回転”の制約
を緩和しており、一方、一次元線分DP手段で線分要素の
再構成を行い、“区切り”の制約を緩和している。By this means, the above-mentioned constraint of "stroke count" or "rotation" is relaxed, while the one-dimensional line segment DP means reconstructs the line segment element to relax the "break" constraint.
（１） 処理手順概要 入力された手書図形は図示されるフローに従つて処理
される（第２図）。本発明の主たる処理手順について次
に説明する。(1) Outline of Processing Procedure The input handwritten graphic is processed according to the flow shown in FIG. 2 (FIG. 2). The main processing procedure of the present invention will be described below.
ストロークの線分要素化 タブレツトから入力した手書図形は、各ストロークご
とにサンプル点の集合として定義されなければならな
い。Stroke segmentation The handwritten graphics input from the tablet must be defined as a set of sample points for each stroke.
このためにサンプル点S1からS2への方向が第３図に示
す方向コードにより量子化され線分の要素化が行われ
る。Therefore, the direction from the sample points S 1 to S 2 is quantized by the direction code shown in FIG.
コードラツピング 前記で抽出した線分データの互いの端点間の接続情
報に基づいて、各々の対応する方向コードを並べたコー
ドリストL4（第７図）を生成する。このとき丁度、入力
図形を包むように順に線分データをたどることになる。Code wrapping A code list L4 (FIG. 7) in which the corresponding direction codes are arranged is generated based on the connection information between the end points of the line segment data extracted above. At this time, the line segment data is traced in order so as to wrap the input figure.
角度変化による相違度計算 前記で要素化された辞書図形（線分の数で大分類さ
れている）から、前記でコードリスト（L5とする）を
生成し、前記L4の各隣り合う方向コードの差をL5のそれ
と比較する（次式）。fiは単位相違度を与えることとな
る。Dissimilarity calculation by angle change From the above-described elementalized dictionary figure (largely classified by the number of line segments), a code list (L5) is generated in the above, and each adjacent direction code in L4 is generated. Compare the difference with that of L5 (the following equation). f i gives the unit dissimilarity.
fi＝｜｛L4（ｉ）−L4（ｉ−１）｝−｛L5（ｉ） −L5（ｉ−１）｝｜ 但し、ｉ＝2,3,…,n n:L5の線分数 ……（１） fiの値の平均値を、その手書き図形の相違度Ｆと定義
する。Ｆ＝０であれば、入力図形と辞書図形とが一致し
ているとみなされる。f i = | {L4 (i) -L4 (i-1)}-{L5 (i) -L5 (i-1)} | where i = 2,3, ..., nn: L5 line segment number ...... (1) The average value of the values of f i is defined as the dissimilarity F of the handwritten figure. If F = 0, it is considered that the input figure and the dictionary figure match.
Ｆ値は０ないし10の値をとることが多く、入力図形と
各種の辞書図形とから得たＦ値の最小値を、認識図形に
用いる。The F value often takes a value of 0 to 10, and the minimum value of the F value obtained from the input graphic and various dictionary graphics is used for the recognition graphic.
線分要素の再構成 入力図形の中に、図形と接続線との続け書きがある
と、前記の処理ができない。そこで手書きの筆跡を線分
要素化した後、その中から図形に相当する線分要素の組
合わせを切出す必要がある。この切出し操作は、認識処
理全体のループ回数即ち処理時間に直接影響を与える。
このため、効率良く切出し操作が行われることが必要と
なる。Reconstruction of line segment element If the input figure has continuous writing of figure and connecting line, the above processing cannot be performed. Therefore, it is necessary to convert the handwritten handwriting into line segment elements and then cut out a combination of line segment elements corresponding to a figure from the line segment elements. This cutout operation directly affects the number of loops of the entire recognition process, that is, the processing time.
Therefore, it is necessary to efficiently perform the cutting operation.
切出し操作は全ての線分要素の組合わせを行う“総当
たり法”が一般的であるが、１つの図形を切出すまでの
操作回数が多くなりがちであるためここでは手書き図形
入力の特徴に注目した“一次元線分ダイナミツク・プロ
グラミング（DP）法”を用いる。この結果、“総当たり
法”に較べて数分の１から10数分の１の操作回数で図形
の切出しが出来る。切出した線分要素は、前記の認識処
理をくり返す。The cutout operation is generally the “brute force method” that combines all line segment elements, but the number of operations required to cut out one figure tends to increase, so here we consider the characteristics of handwritten figure input. The noted "one-dimensional line segment dynamic programming (DP) method" is used. As a result, it is possible to cut out a figure with a few times to one tenth of the number of operations compared with the "brute force method". The above-described recognition processing is repeated for the cut-out line segment element.
（２） 処理手順の説明 前記（１）で述べた基本的な図形認識アルゴリズムに
ついて、以下に例を用いて具体的に説明する。(2) Description of Processing Procedure The basic figure recognition algorithm described in (1) above will be specifically described below using an example.
ストロークの線分要素化（第４図） タブレツト100から入力される手書き図形のサンプル
点座標データS1は、ペンダウンからペンアツプまで（ス
トローク）を一括して本処理に取込まれる。Stroke segmentation (FIG. 4) The sample point coordinate data S 1 of the handwritten figure input from the tablet 100 is taken in by this process from pen down to pen up (stroke) at once.
同図（ａ）で示すように手書き筆跡から得たサンプル
点座標データS1の始点SP1ら終点SPnまでを“未確認領域
（UA）”とし、始点SP1を“未確認領域開始点（UA
S）”、終点SPnを“未確認領域終了点（UAE）とする。As shown in FIG. 7A, the area from the start point SP 1 to the end point SP n of the sample point coordinate data S 1 obtained from the handwriting is set as the “unconfirmed area (UA)”, and the start point SP 1 is set as the “unconfirmed area start point (UA).
S) ”and the end point SP n are“ unconfirmed area end point (UAE) ”.
次に同図（ｂ）に示すように手書き筆跡Ｓとその始
点、終点を結ぶ直線Ｌにはさまれた領域の面積Ａを求め
る。この面積Ａは幾何学における台形法等を用いると容
易に得られる。Next, as shown in FIG. 6B, the area A of the region sandwiched by the handwriting S and the straight line L connecting the start point and the end point thereof is obtained. This area A can be easily obtained by using a trapezoidal method in geometry.
次に算出した面積Ａが予め設定したしきい値Athより
小ならば、この手書き筆跡Ｓを直線Ｌと見なし、線分登
録処理へ移行する。If the calculated area A is smaller than the preset threshold value A th , the handwriting S is regarded as a straight line L, and the line segment registration processing is performed.
同図（ｃ）に示すように上記（３）で面積Ａがしきい
値Athより大であれば終点を上記UAS点とUAE点の中点に
移動し、再度面積を計算して面積Ａ′を得る。If the area A is larger than the threshold value A th in (3) as shown in FIG. 7C, the end point is moved to the midpoint between the UAS point and the UAE point, and the area is calculated again to calculate the area A. Get ′.
ここで再び面積Ａ′としきい値Athの大小関係を調
べ、Ａ′＜Athならば、同時（ｄ）に示すように現終点
を新たなUAS点として直線Ｌを決定し、Ａ′≧Athなら
ば、同図（ｅ）に示すように現終点を新たなUAE点とし
て面積Ａ″の算出へ移行する。Here, the magnitude relationship between the area A ′ and the threshold value A th is examined again. If A ′ <A th , the straight line L is determined with the current end point as a new UAS point as shown in (d), and A ′ ≧ If it is A th , the current end point is set as a new UAE point and the area A ″ is calculated as shown in FIG.
前記の処理はUAが無くなる時、即ちUAE点＝UAS点とな
るまで行われる。その後始点から終点を一本の直線とみ
なし、線分登録処理へ移行する。The above processing is performed when the UA disappears, that is, until the UAE point = UAS point. After that, the start point to the end point are regarded as one straight line, and the process proceeds to the line segment registration processing.
移行すると同時に、終点を始点及びUAS点に手書き筆
跡Ｓの最終点を終点及びUAE点に再設定する。Simultaneously with the transition, the end point is reset to the start point and the UAS point, and the final point of the handwriting S is reset to the end point and the UAE point.
以上の処理で線分（Ｌ）と判定された始点、終点の座
標SPj,SPk、各点におけるペンのup/downの状態STj,S
Tk、始点から終点に向う角度θj,k等を同時（ｆ）に示
すような線分リストSeg−listに登録する。これらの処
理は、手書き筆跡Ｓが全て登録されるまで続けられる。The coordinates SP j and SP k of the start point and the end point determined to be the line segment (L) by the above process, and the pen up / down state ST j , S at each point
T k , the angle θ j, k from the start point to the end point, etc. are registered in the line segment list Seg-list as shown at the same time (f). These processes are continued until all the handwritten strokes S are registered.
コードラツピング 本処理を行うには、各線分要素の端点間の接続関係を
知る必要がある。そのため入力図形の正規化と、上記接
続関係リストの作成について説明する。Code wrapping To perform this process, it is necessary to know the connection relationship between the end points of each line segment element. Therefore, the normalization of the input figure and the creation of the connection relation list will be described.
第５図に入力図形（三角形）の正規化の様子を示す。
同図（ａ）で示すように、入力図形から得られるｘ方向
又はｙ方向の大きい方（li）を、正規化サイズ（ln）に
拡大縮小する。従つて、同図（ｂ）に示すように既に作
成した線分リストL1の始点、終点の値をln/li倍し、正
規化線分リストL2を作成する。FIG. 5 shows the normalization of the input figure (triangle).
As shown in FIG. 7A, the larger one (l i ) in the x direction or the y direction obtained from the input graphic is scaled up or down to the normalized size (l n ). Therefore, as shown in FIG. 7B, the values of the start point and the end point of the line segment list L1 already created are multiplied by l n / l i to create the normalized line segment list L2.
次に線分要素端点間の接続情報の作成を第６図を用い
て説明する。同図（ａ）は正規化後の入力図形（三角
形）である。同図（ｂ）で示すように上記正規化サイズ
（ln）の10％を線分要素端点間の“接続許容距離”とす
る。そして各線分の端点間の距離が、該接続許容距離よ
り小さければ、その２つの端点間がつながつているとみ
なす。この情報は同図（ｃ）に示す接続リストL3に書込
まれる。この例では、線分要素１は、“始点が線分要素
３の始点と接続している”、“終点は線分要素２の始点
と接続している”という２つの接続情報を持つている。Next, creation of connection information between line segment element end points will be described with reference to FIG. FIG. 9A shows an input figure (triangle) after normalization. And "connect allowable distance" between the line segment elements endpoints 10% of the normalization size as shown in FIG. (B) (l n). If the distance between the end points of each line segment is smaller than the connection allowable distance, it is considered that the two end points are connected. This information is written in the connection list L3 shown in FIG. In this example, the line segment element 1 has two pieces of connection information, "the start point is connected to the start point of the line segment element 3" and "the end point is connected to the start point of the line segment element 2". .
このようにして作成した線分接続リストL3と、正規化
線分リストL2を用いてコードラツピングが行われる様子
を、第７図を用いて説明する。The manner in which code wrapping is performed using the line segment connection list L3 thus created and the normalized line segment list L2 will be described with reference to FIG.
各線分要素を包み込む際の始点は、どの線分要素から
でもかまわないが、ここでは最も左の端点から右回りに
線分要素をたどることとする。The starting point for wrapping each line segment element may be from any line segment element, but here, the line segment elements are traced clockwise from the leftmost end point.
同図（ａ）で、入力図形を構成する線分要素の中で、
その端点が最も左にあるものを求める。In the figure (a), among the line segment elements that make up the input figure,
Find the one with its endpoint on the far left.
前記で求めた端点を新たな始点と考えて、この端点
を含む線分要素と、その端点に接続している他の線分要
素との中から最もｙ方向を向いた線分要素（図では線分
要素１）を選択し、上記新始点から見た方向コード（＝
4,第７図）をコードリストL4に登録する。Considering the end point obtained above as a new start point, the line segment element that is most oriented in the y direction from the line segment element including this end point and other line segment elements connected to the end point (in the figure, Select the line element 1) and select the direction code (=
4, (Fig. 7) is registered in code list L4.
線分接続リスト（第６図）から線分要素１の始点は線
分要素３と接続していることが分かるので（ｂ）に示す
ようにたどる方向を向いた時の方向コード（＝28）をコ
ードリストL4に登録する。From the line segment connection list (Fig. 6), it can be seen that the starting point of the line segment element 1 is connected to the line segment element 3, so the direction code (= 28) when facing the tracing direction as shown in (b). To codelist L4.
以下と同様にコードリストL4を作成する。そして入
力した線分要素の中に未だ１回も包み込みに使用してい
ないものがあれば、からの処理を繰り返す。なければ
本処理を終了する。Create codelist L4 as follows. Then, if there is an input line segment element that has not been used for wrapping even once, the processing from is repeated. If not, this process ends.
本処理の結果、同時（ｄ）に示すように入力図形に関
して右回りにコードリストL4が生成される。As a result of this processing, a code list L4 is generated in a clockwise direction with respect to the input figure, as shown in (d).
角度変化による相違度計算 コードラツピング処理で得たコードリストL4を用い
て、次の手順に従つて辞書図形とのマツチング処理を行
う。Difference degree calculation by angle change Using the code list L4 obtained by the code lapping process, the matching process with the dictionary figure is performed according to the following procedure.
まずコードリストL4から次式に示す３つの角度差デー
タを得る。First, three angle difference data shown in the following expressions are obtained from the code list L4.
θａ＝L4（２）−L4（１） θｂ＝L4（３）−L4（２） θｃ＝L4（４）−L4（３） 次に入力図形と辞書図形との間の相違度計算法を説明
する（第８図）。θ a = L4 (2) -L4 (1) θ b = L4 (3) -L4 (2) θ c = L4 (4) -L4 (3) Next, calculation of the difference between the input figure and the dictionary figure The method will be explained (Fig. 8).
同図（ａ）に示す入力図形の角度差データθａ〜θｃ
と、辞書図形の角度差データθ１〜θ３又はθ１′〜θ
３′とについて、同図（ｂ）に示す対応するデータ間の
差の絶対値の和f1,f2,…を求める。この中で同時（ｃ）
に示すように、入力図形に対しfi値が最小となる辞書図
形を求め、これを認識図形（同図（ｄ））として出力す
る。Angle difference data θ a to θ c of the input figure shown in FIG.
And the angle difference data θ 1 to θ 3 or θ 1 ′ to θ of the dictionary figure
3 ′ and the sum of absolute values f 1 , f 2 , ... Of the differences between the corresponding data shown in FIG. Simultaneous in this (c)
As shown in FIG. 6, a dictionary figure having the smallest f i value is obtained for the input figure, and this is output as a recognition figure (FIG. 9D).
この図の例で、 θａ＝24,θｂ＝−12,θｃ＝−12, θ１＝23,θ２＝−12,θ３＝−11, θ１′＝20,θ２′＝−8,θ３′＝−12 とすると f1＝2,f2＝８ となり、このf1,f2を線分要素数で平均することによ
り、 f1/3＝0.67,f2/3＝2.67 が得られ、この場合の認識図形は図形Ａとなる。In the example of this figure, θ a = 24, θ b = −12, θ c = −12, θ 1 = 23, θ 2 = −12, θ 3 = −11, θ 1 ′ = 20, θ 2 ′ = -8, θ 3 '= -12 to the f 1 = 2, f 2 = 8 , and the by averaging the f 1, f 2 at line number of elements, f 1 /3=0.67,f 2/3 = 2.67 is obtained, and the recognized figure in this case is the figure A.
線分要素の再構成 ストロークの線分要素化から前記相違度の計算まで
（第２図、線分セグメント手段に対応）に説明した事項
は、複数の手書き筆跡から図形部分が独立して抽出され
ていることを前提としている。Reconstruction of line segment elements The matters explained from the conversion of stroke line segment elements to the calculation of the dissimilarity (corresponding to the line segment segment means in Fig. 2) are that the graphic portion is independently extracted from a plurality of handwritten handwritings. It is assumed that
しかし一般には、フローチヤート等を手書き入力しよ
うとする場合のように、第９図に示すごとく、接続線と
図形とが一続きの筆跡となつていることが頻発する。However, in general, as in the case of inputting a flow chart or the like by handwriting, as shown in FIG. 9, a connecting line and a figure often form a continuous handwriting.
そこでダイナミツク・プログラミング（DP）手法を応
用した“一次元線分DP法”による図形の切出しについて
図を用いながら説明する。Therefore, the cutting out of figures by the "one-dimensional line segment DP method", which is an application of the dynamic programming (DP) method, will be explained using figures.
この図形切出しは、手書き図形を入力する際、その入
力順序は、接続線→図形、図形→接続線、又は接続線→
図形→接続線の３つのいずれかに場合分けされることに
着目して行われる。入力された複数の線分要素の中で、
最先に入力された線分要素と、最後に入力された線分要
素とを取去ることにより、効率良く図形部分を切出すこ
とができる。When inputting a handwritten figure, this figure cutout is input in the following order: connecting line → figure, figure → connecting line, or connecting line →
It is performed paying attention to the fact that the case is classified into any of the three shapes, that is, the figure → the connecting line. Among the input line segment elements,
By removing the line segment element input first and the line segment element input last, the graphic part can be cut out efficiently.
以上の処理について第９図を用いて具体的に説明す
る。The above processing will be specifically described with reference to FIG.
同図（ａ）は、線分要素化後の入力図形を示してい
る。この例では線分要素１を取去る必要がある。同時
（ｂ）に、一次元線分DP法による線分要素の再構成の処
理を示す。FIG. 7A shows the input figure after the line segment elementization. In this example, the line element 1 needs to be removed. Simultaneously (b) shows a process of reconstructing line segment elements by the one-dimensional line segment DP method.
まず最初に線分要素１〜４が本処理に入力される。 First, the line segment elements 1 to 4 are input to this processing.
第１回目の処理では、最後に入力された線分要素のみ
取り去つている。In the first processing, only the last input line segment element is removed.
第２回目では、最先に入力された線分要素を取り去
り、切出しが成功している。In the second time, the line segment element input first is removed, and the clipping is successful.
第３回目以降の処理では、取り去られる線分要素数が
２であり、どのような取り去り方をしても図形の切出し
は行われないことが示されている。In the third and subsequent processes, the number of line segment elements to be removed is 2, and it is shown that the figure is not cut out regardless of the removal method.
このように、入力した線分要素の最初と最後から１つ
又は複数の線分要素を取り去つて、図形の切出しを効率
良く行つていく。In this way, one or a plurality of line segment elements are removed from the beginning and the end of the input line segment elements, and the figure is cut out efficiently.
本実施例によれば、第10図に示されるように、手書き
図形入力の際の、画数、筆順、回転、区切りの制約が大
幅に緩和される効果を有する。According to the present embodiment, as shown in FIG. 10, there is an effect that the restrictions on the number of strokes, the stroke order, the rotation, and the division at the time of inputting a handwritten figure are greatly relaxed.
例えば同図（１）に示すように、１つの図形を任意の
回数のストロークで書いた場合、当該図形を図形の単位
である線分要素に分解するため、いわゆる画数の制限が
ない。For example, as shown in (1) of the figure, when one figure is written with a stroke of an arbitrary number of times, the figure is decomposed into line segment elements which are the units of the figure, so that there is no so-called limitation on the number of strokes.
また同図（２）に示すように、１つの図形を任意の部
分から書いた場合、線分要素を“コードラッピング”に
より右回りに順序づけるため、筆跡の制約がなくなる。Further, as shown in (2) of the same figure, when one figure is written from an arbitrary part, line segment elements are ordered clockwise by "code wrapping", so that there is no handwriting restriction.
図形を傾けて入力した場合、隣あう線分要素の角度差
で相違度を評価するため、入力図形の回転が制約されな
い（同図（３））。When a graphic is input while being tilted, the degree of difference is evaluated by the angle difference between adjacent line segment elements, so that the rotation of the input graphic is not restricted ((3) in the same figure).
本発明によれば、複数の線分要素から図形部分を切り
出すことができるので、接続線の付いた図形の認識が可
能となり、マンマシン性の向上が図られる。According to the present invention, since a graphic part can be cut out from a plurality of line segment elements, a graphic with a connecting line can be recognized and man-machine performance can be improved.
第１図はオンライン手書き図形認識システムの構成例を
示す図、第２図は本発明の認識手順を示す流れ図、第３
図は方向コードを示す図、第４図は本発明による（面積
法）手書き筆跡の線分要素化の説明図、第５図は図形の
正規化処理の説明図、第６図は接続リストの説明図、第
７図はコードラツピングの説明図、第８図は相違度計算
の説明図、第９図は線分要素の再構成の説明図、第10図
は図形の認識例を示す図、第11図は平滑化を行う従来例
を示す図、第12図は筆跡を折れ線近似する従来例を示す
図、第13図は文字識別樹の例を示す図、第14図は従来の
手書図形認識手順の流れ図、第15図は候補ラテイス方法
を用いた従来例の説明図。 100……タブレツト、200……電算機、600……図形辞
書。FIG. 1 is a diagram showing a configuration example of an online handwritten figure recognition system, FIG. 2 is a flow chart showing a recognition procedure of the present invention, and FIG.
FIG. 4 is a diagram showing a direction code, FIG. 4 is an explanatory diagram of line segment elementization of (handwriting) handwriting according to the present invention, FIG. 5 is an explanatory diagram of normalization processing of a figure, and FIG. 6 is a connection list. Explanatory diagram, FIG. 7 is an explanatory diagram of code wrapping, FIG. 8 is an explanatory diagram of dissimilarity calculation, FIG. 9 is an explanatory diagram of reconstruction of line segment elements, and FIG. 10 is a diagram showing an example of recognizing a figure , Fig. 11 is a diagram showing a conventional example of smoothing, Fig. 12 is a diagram showing a conventional example in which handwriting is approximated by a broken line, Fig. 13 is a diagram showing an example of a character identification tree, and Fig. 14 is a diagram showing a conventional method. FIG. 15 is a flow chart of the calligraphic pattern recognition procedure, and FIG. 15 is an explanatory diagram of a conventional example using the candidate lattice method. 100 …… tablet, 200 …… computer, 600 …… figure dictionary.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 横山 孝典 茨城県日立市幸町３丁目１番１号 株式会 社日立製作所日立研究所内 (72)発明者 福永 泰 茨城県日立市幸町３丁目１番１号 株式会 社日立製作所日立研究所内 (56)参考文献 特開 昭57−30087（ＪＰ，Ａ) 特開 昭59−57381（ＪＰ，Ａ) ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Takanori Yokoyama, 3-1-1, Saiwaicho, Hitachi-shi, Ibaraki Hitachi Ltd. Hitachi Research Laboratory (72) Inventor, Yasushi Fukunaga 3-chome, Saiwaicho, Hitachi, Ibaraki No. 1 in Hitachi Research Laboratory, Hitachi, Ltd. (56) Reference JP-A-57-30087 (JP, A) JP-A-59-57381 (JP, A)
Claims (1)
ロークを線分ごとに分割し、該分割された線分よりなる
線分群と予め蓄えられていた辞書図形との間で類似度の
評価を行ない、当該評価に基づいて、対応する辞書図形
を認識結果として出力する手書き図形認識装置におい
て、 手書きにより入力されたストロークを複数の線分に分割
する線分分割手段と、 前記分割された線分によりなる線分群のうち最初と最後
の線分から交互に１本又は複数本削除した線分の組合せ
を求める線分要素再構成手段とを設け、 前記求められた線分の組合せと前記辞書図形との間での
類似度の評価を行ない、前記辞書図形に対応する線分群
を切り出すことを特徴とするオンライン手書き図形認識
装置。1. A stroke composing a recognition target input by handwriting is divided into line segments, and a similarity between a line segment group including the divided line segments and a dictionary figure stored in advance is evaluated. A handwritten figure recognition device that outputs a corresponding dictionary figure as a recognition result based on the evaluation, a line segment dividing unit that divides a stroke input by handwriting into a plurality of line segments, and the divided line segment. Line segment element reconstructing means for obtaining a combination of line segments obtained by alternately deleting one or more line segments from the first and last line segments of the line segment group consisting of An on-line handwritten figure recognition device, characterized in that the degree of similarity between the two is evaluated and a line segment group corresponding to the dictionary figure is cut out.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59149511A JPH081660B2 (en) | 1984-07-20 | 1984-07-20 | Online handwritten figure recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59149511A JPH081660B2 (en) | 1984-07-20 | 1984-07-20 | Online handwritten figure recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6129980A JPS6129980A (en) | 1986-02-12 |
| JPH081660B2 true JPH081660B2 (en) | 1996-01-10 |
Family
ID=15476736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59149511A Expired - Lifetime JPH081660B2 (en) | 1984-07-20 | 1984-07-20 | Online handwritten figure recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH081660B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4648045B2 (en) * | 2005-03-17 | 2011-03-09 | 株式会社リコー | Character input device, program, and character input method |
| JP5342052B1 (en) * | 2012-10-17 | 2013-11-13 | 株式会社東芝 | Electronic apparatus and method |
| EP2854011A3 (en) * | 2013-09-17 | 2015-04-29 | Brother Kogyo Kabushiki Kaisha | Paper medium, input device, and computer-readable medium storing computer-readable instructions for input device |
-
1984
- 1984-07-20 JP JP59149511A patent/JPH081660B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6129980A (en) | 1986-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0151316B1 (en) | On-line recognition method and apparatus for a handwritten pattern | |
| US6226403B1 (en) | Handwritten character recognition using multi-resolution models | |
| US5687254A (en) | Searching and Matching unrecognized handwriting | |
| US7050632B2 (en) | Handwriting layout analysis of freeform digital ink input | |
| EP1971957B1 (en) | Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text | |
| JP3452774B2 (en) | Character recognition method | |
| JP2007317022A (en) | Handwritten character processor and method for processing handwritten character | |
| JPH10507025A (en) | Character recognition system for identification of scanned and real-time handwritten characters | |
| Caputo et al. | A 3 Cent Recognizer: Simple and Effective Retrieval and Classification of Mid-air Gestures from Single 3D Traces. | |
| JPH09319829A (en) | Online character recognition device | |
| JP3634574B2 (en) | Information processing method and apparatus | |
| JPH081660B2 (en) | Online handwritten figure recognition device | |
| JP2002063548A (en) | Handwritten character recognizing method | |
| Abuzaraida et al. | The detection of the suitable reduction value of Douglas-Peucker algorithm in online handwritten recognition systems | |
| Mironovsky et al. | Graphological analysis and identification of handwritten texts | |
| KR100301216B1 (en) | Online text recognition device | |
| JPS6128180A (en) | On line handwriting diagram recognition device | |
| Pinilla-Buitrago et al. | Improved hieroglyph representation for image retrieval | |
| EP0382432A2 (en) | Manuscript recognition | |
| Zarei et al. | A new approach for feature extraction with applications to automatic writer recognition | |
| JP3817281B2 (en) | Information processing apparatus and method | |
| JPH09114926A (en) | Method and device for rough classifying input characters for on-line character recognition | |
| JP3359229B2 (en) | Online handwriting recognition method | |
| KR940007934B1 (en) | Stroke partition and character classification method for on-line character recognition | |
| Inuganti et al. | Recognition of online handwritten Telugu stroke by detected dominant points using curvature estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |