JPH06111073A - Handwritten information recognizing device - Google Patents

Abstract

PURPOSE:To provide a handwritten information recognizing device without requiring a complicated operation for category by recognizing a state where the plural categories of character, graphic, table, and edit symbol, etc., are mixed. CONSTITUTION:A degree of confidence as the category is scored at every category for look like character, look like graphic, look like symbol for edit. etc., from a holographic coordinate inputted to a display/input unifying type tablet 1, or inputted document information stored in a document information memory device 3 by a confidence scoring part 6 according to an evaluation item to identify the category. The category with the highest point obtained at the confidence scoring part 6, or the one with a point over a prescribed threshold value is judged by a category identification part 8, and it is identified by a category element recognizing part 9.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、手書き情報を認識する
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for recognizing handwritten information.

【０００２】[0002]

【従来の技術】従来の文書処理装置の入力は、周知のキ
ーボード、マウスが主流となっているが、これらの操作
は人間の感覚に対し不自然であり、慣れるのに労力を要
している。このため、ペンで位置を指定したり、ペンで
筆記した文字を認識して文字を入力するものが注目され
ている。また、文字の他、図形や編集記号を認識して文
字、図形の入力、訂正を行うものもある。2. Description of the Related Art Conventionally, a well-known keyboard and mouse are mainly used for inputting data in a conventional document processing apparatus, but these operations are unnatural to human senses and it takes a lot of effort to get used to them. . For this reason, attention is being paid to those who specify a position with a pen or recognize a character written with the pen and input the character. In addition, in addition to characters, there is also one that recognizes figures and edit symbols to input and correct characters and figures.

【０００３】しかしながら、従来の認識装置は、文字だ
け、図形だけ、編集記号だけなどカテゴリーを１つに限
定して、そのカテゴリー内の要素を認識するものが一般
的である。この理由は、文字や図形、編集記号の複数の
カテゴリーには類似した形状のものがあり、それぞれ意
味が異なっているため、筆跡の形状だけでは認識できな
いからである。However, the conventional recognition apparatus generally limits the number of categories such as characters, graphics, and edit symbols to one and recognizes the elements in the category. The reason for this is that some categories of characters, figures, and edit symbols have similar shapes and have different meanings, so it cannot be recognized only by the shape of the handwriting.

【０００４】例えば、２本線の筆記は、形状から文字の
「＝」(イクオール)か削除用の記号か識別できない。こ
のため、文字と図形の入力や訂正を行う場合、文字と図
形入力を切り替えるためのアイコンを指示したり、文字
の筆記領域と文字以外の筆記領域を別々に設けるなど、
カテゴリーの指定を使用者が操作によって行っている。For example, a two-line writing cannot be identified from the shape as a character "=" (equal) or a deletion symbol. For this reason, when inputting or correcting characters and figures, you can specify an icon to switch between character and figure input, and provide a writing area for characters and a writing area other than characters separately.
The user specifies the category by operation.

【０００５】このカテゴリーの指定操作は煩わしく、使
用者の大きな負担になっている。文字と図形を混在で認
識するものとして、筆跡の画数、大きさ、形状に基づい
て文字か図形かを識別するもの(特開昭64-13682号)があ
るが、この方法は、形状の類似した文字と図形に対して
は大きさのみで文字か図形かを識別してるため、正確な
識別方法ではない。このため、文字と図形で類似した形
状のもので小さい図形、大きい文字は文字と図形の識別
を誤るという問題点がある。This category designation operation is troublesome and places a heavy burden on the user. As a method of recognizing characters and figures in a mixed manner, there is a method of distinguishing between characters and figures based on the number of strokes, size, and shape of the handwriting (Japanese Patent Laid-Open No. 64-13682). Since the character and the figure are identified by the size only, it is not an accurate identification method. For this reason, there is a problem in that the character and the figure have similar shapes, and the small character and the large character misidentify the character and the character.

【０００６】また編集記号を対象としていない。Also, the editing symbol is not targeted.

【０００７】[0007]

【発明が解決しようとする課題】本発明の手書き情報認
識装置は、文字や図形、表、編集記号などの複数カテゴ
リーを混在で認識することにより、カテゴリーの煩わし
い指定操作が一切ない手書き情報認識装置を実現するも
のである。DISCLOSURE OF THE INVENTION The handwritten information recognition apparatus of the present invention recognizes a plurality of categories such as characters, figures, tables, and edit symbols in a mixed manner, so that there is no troublesome designation operation of the categories. Is realized.

【０００８】[0008]

【課題を解決するための手段】本発明の手書き情報認識
装置は、ペンで筆跡座標を入力するための座標入力手段
と、文書情報を記憶する文書情報記憶手段と、前記文書
情報を表示する表示手段と、前記座標入力手段で入力さ
れた筆跡座標、あるいは前記文書情報記憶手段に記憶さ
れている既入力文書情報から、複数のカテゴリーを混在
で認識する複数カテゴリー認識手段を有する手書き情報
認識装置であって、前記複数カテゴリー認識手段は、前
記座標入力手段で入力された筆跡の特徴、あるいは該筆
跡と前記文書情報記憶されている既入力文書情報から、
カテゴリーを識別するための評価項目に従って、文字ら
しさ、図形らしさ、編集用記号らしさなど、それぞれの
カテゴリー毎に該カテゴリーとしての確信度を得点付け
する確信度得点付け手段と、該得点付け手段で得られた
得点が最も高いか、該得点が所定の閾値以上あるカテゴ
リーをカテゴリー識別結果とするカテゴリー識別手段
と、該カテゴリー識別手段で得られたカテゴリーの要素
を認識対象として該要素を認識するカテゴリー要素認識
手段から成る。A handwritten information recognition apparatus of the present invention is a coordinate input means for inputting handwriting coordinates with a pen, a document information storage means for storing document information, and a display for displaying the document information. And a handwriting information recognition device having a plurality of category recognition means for recognizing a plurality of categories in a mixed manner from the handwriting coordinates input by the coordinate input means or the already input document information stored in the document information storage means. Then, the plurality of category recognition means, from the characteristics of the handwriting input by the coordinate input means, or the handwriting and the already input document information stored in the document information,
According to the evaluation item for identifying the category, a confidence score scoring means for scoring the confidence as the category for each category such as character-likeness, graphic-likeness, edit symbol-likeness, and the like. A category identification means having a category identification result of a category having the highest score or having a score of a predetermined threshold value or more, and a category element for recognizing the element of the category obtained by the category identification means It consists of recognition means.

【０００９】[0009]

【作用】本発明の手書き情報認識装置は、前記座標入力
手段で入力された筆跡座標、あるいは前記文書情報記憶
手段に記憶されている既入力文書情報から、前記確信度
得点付け手段によって、カテゴリーを識別するための評
価項目に従って、文字らしさ、図形らしさ、編集用記号
らしさなど、それぞれのカテゴリー毎にカテゴリーとし
ての確信度を得点付けし、前記カテゴリー識別手段によ
って、確信度得点付け手段で得られた得点が最も高い
か、得点が所定の閾値以上あるカテゴリーをカテゴリー
識別結果とし、前記カテゴリー要素認識手段によって、
カテゴリーの要素を認識する。従って、本発明の手書き
情報認識装置によれば、手書き情報を筆跡の形状、大き
さ、位置など様々な視点からカテゴリーを認識でき、筆
跡の特徴(形状、大きさ)だけでは認識できない類似形状
のカテゴリーに対しても、筆跡の特徴の他、既入力文書
情報を用いて筆記者の意図を理解し、その意図を認識に
反映できるため、高精度に複数のカテゴリーを混在で認
識することができる。In the handwritten information recognition device of the present invention, the category is determined by the certainty factor scoring means from the handwriting coordinates input by the coordinate input means or the already input document information stored in the document information storage means. According to the evaluation items for identifying, the confidence level as a category is scored for each category such as character-likeness, graphic-likeness, edit symbol-likeness, etc. By the category identifying means, it is obtained by the confidence factor scoring means. The highest score, or a category with a score equal to or greater than a predetermined threshold is the category identification result, and by the category element recognition means,
Recognize category elements. Therefore, according to the handwriting information recognition device of the present invention, it is possible to recognize the category of handwriting information from various viewpoints such as the shape, size, and position of the handwriting, and the handwriting information of a similar shape that cannot be recognized only by the characteristics (shape, size) of the handwriting. For categories, in addition to the characteristics of handwriting, it is possible to understand the intention of the writer using the input document information and reflect that intention in recognition, so multiple categories can be recognized with high accuracy. .

【００１０】[0010]

【実施例】以下、本発明に係る実施例を、図１〜図９に
基づき説明する。図１は、本発明の手書き認識装置の構
成を示すブロック図である。同図に於て、表示入力一体
型タブレット１(以下タブレット)はＬＣＤ表示部１ａ
(以下表示部)とペンの座標検出部１ｂが一体になった装
置であり、１ａの座標と１ｂの座標は１対１で対応して
いる。Embodiments of the present invention will be described below with reference to FIGS. FIG. 1 is a block diagram showing the configuration of the handwriting recognition device of the present invention. In the figure, the display / input integrated tablet 1 (hereinafter referred to as tablet) is an LCD display unit 1a.
(Display unit) and pen coordinate detecting unit 1b are integrated, and the coordinates of 1a and the coordinates of 1b are in one-to-one correspondence.

【００１１】タブレット１用のペンでタブレット１上に
文字や編集記号を筆記すると、座標検出部１ｂが一定時
間間隔でペンの座標(ｘ，ｙ)を検出し、ペンの筆跡を示
す時系列の座標データ(以下、筆跡座標データ)を文書編
集装置２に送る。文書編集装置２は、機能選択のための
メニューや文書情報記憶装置３に記憶されている文書情
報(文字、図形、表等)やタブレット１上で筆記された筆
跡などを表示部１ａへ表示したり、認識装置５での筆跡
座標の認識結果に基づいた文書の編集処理を行う。When a character or an edit symbol is written on the tablet 1 with the pen for the tablet 1, the coordinate detection unit 1b detects the coordinates (x, y) of the pen at a constant time interval, and a time series showing the handwriting of the pen is detected. Coordinate data (hereinafter, handwriting coordinate data) is sent to the document editing device 2. The document editing device 2 displays a menu for function selection, document information (characters, figures, tables, etc.) stored in the document information storage device 3 and handwriting written on the tablet 1 on the display unit 1a. Alternatively, the document editing process is performed based on the recognition result of the handwriting coordinates by the recognition device 5.

【００１２】文書編集装置２は、タブレット１の座標検
出部１ｂから筆跡座標データを受け取ると、その筆跡座
標データに従って以下の処理を行う。筆跡座標データが
文書情報の表示のメニュー選択を示すものであれば、文
書情報記憶装置３から文書情報を読み出して表示部１ａ
の文書情報表示領域に表示すると共に、表示部１ａに表
示した文書情報を認識装置５に送る。Upon receiving the handwriting coordinate data from the coordinate detecting unit 1b of the tablet 1, the document editing device 2 performs the following processing according to the handwriting coordinate data. If the handwriting coordinate data indicates a menu selection for displaying the document information, the document information is read from the document information storage device 3 and displayed on the display unit 1a.
The document information displayed on the display unit 1a is sent to the recognition device 5 while being displayed in the document information display area.

【００１３】筆跡座標データが文書情報表示領域内であ
れば、その筆跡座標データは文字や図形、表、編集記号
であるとして筆跡座標データを認識装置５に送る。認識
装置５は、確信度得点付け部６、筆跡情報用メモリ６
ａ、文書情報用メモリ６ｂ、知識ベース７、カテゴリー
識別部８、カテゴリー要素認識部９、文字認識部９ａ、
図形認識部９ｂ、表認識部９ｃ、編集記号認識部９ｄに
よって構成する。If the handwriting coordinate data is within the document information display area, it is determined that the handwriting coordinate data is a character, a figure, a table, or an edit symbol, and the handwriting coordinate data is sent to the recognition device 5. The recognition device 5 includes a certainty factor scoring unit 6 and a handwriting information memory 6
a, a document information memory 6b, a knowledge base 7, a category identification unit 8, a category element recognition unit 9, a character recognition unit 9a,
The figure recognition unit 9b, the table recognition unit 9c, and the edit symbol recognition unit 9d are used.

【００１４】認識装置５は、文書処理装置２から文書情
報や筆跡座標データを確信度得点付け部６で受け取る
と、文書情報を付属の文書情報用メモリ６ｂに記憶し、
筆跡座標データを付属の筆跡情報用メモリ６ａに記憶す
る。そして、筆跡座標データを受け取った場合は、その
筆跡座標データと既入力状況、つまり文書情報用メモリ
６ａに記憶した筆跡座標データと文書情報用メモリ６ｂ
に記憶した文書情報から、筆記されたものを以下の処理
によって認識する。When the recognition device 5 receives the document information and the handwriting coordinate data from the document processing device 2 by the certainty factor scoring unit 6, the recognition device 5 stores the document information in the attached document information memory 6b,
The handwriting coordinate data is stored in the attached handwriting information memory 6a. When the handwriting coordinate data is received, the handwriting coordinate data and the input state, that is, the handwriting coordinate data stored in the document information memory 6a and the document information memory 6b.
The written information is recognized by the following processing from the document information stored in.

【００１５】知識ベース７にはカテゴリーの確信度を算
出するための評価項目が記述されており、この評価項目
に従って確信度得点付け部６は筆記されたものの文字や
図形らしさなど、カテゴリー毎の確信度を算出する。確
信度を算出するための評価項目には、筆跡の大きさ、筆
跡と既入力文書の位置関係、筆跡の形状に関するものが
あるが、その評価項目の内容によって、筆跡情報用メモ
リ内の筆跡座標データ、文書情報用メモリ内の文書情報
の他、カテゴリー要素認識部９に付属の文字認識部９ａ
や図形認識部９ｂ、表認識部９ｃ、編集記号認識部９ｄ
における認識結果を用いる。文字認識部９ａ、図形認識
部９ｂ、表認識部９ｃ、編集記号認識部９ｄは、筆跡座
標データを入力とし、それぞれの認識結果(種類を表す
コード、類似度、位置、大きさなど)を出力する。The knowledge base 7 describes the evaluation items for calculating the certainty factor of the category, and the certainty factor scoring unit 6 writes the certainty factor for each category such as the character or the figure like what is written according to this evaluation item. Calculate the degree. The evaluation items for calculating the certainty factor relate to the size of the handwriting, the positional relationship between the handwriting and the input document, and the shape of the handwriting. Depending on the content of the evaluation item, the handwriting coordinates in the handwriting information memory. In addition to data and document information in the document information memory, a character recognition unit 9a attached to the category element recognition unit 9
And figure recognition unit 9b, table recognition unit 9c, edited symbol recognition unit 9d
The recognition result in is used. The character recognizing unit 9a, the figure recognizing unit 9b, the table recognizing unit 9c, and the edit symbol recognizing unit 9d receive the handwriting coordinate data as an input, and output the respective recognition results (code indicating the type, similarity, position, size, etc.). To do.

【００１６】確信度得点付け部６は、知識ベース７内の
評価項目に従ってカテゴリー毎の確信度を算出する過程
で、確信度の値、カテゴリー間での確信度の差によっ
て、カテゴリーを決定できると判断すると、確信度の算
出を停止し、カテゴリー別の確信度をカテゴリー識別部
８へ出力する。確信度得点付け部６での確信度の算出方
法については後で詳述する。In the process of calculating the certainty factor for each category according to the evaluation items in the knowledge base 7, the certainty factor scoring unit 6 can determine the category by the value of the certainty factor and the difference in the certainty factor between the categories. When the determination is made, the calculation of the certainty factor is stopped and the certainty factor for each category is output to the category identifying unit 8. The method of calculating the certainty factor in the certainty factor scoring unit 6 will be described in detail later.

【００１７】カテゴリー識別部８は、確信度得点付け部
６で算出されたカテゴリー毎の確信度に基づいて、確信
度の最も高いカテゴリーをカテゴリー識別結果とし、そ
の結果をカテゴリー要素認識部９に出力する。カテゴリ
ー要素認識部９は、カテゴリー識別部８でのカテゴリー
識別結果に従って、そのカテゴリーに対応する認識部を
文字認識部９ａ、図形認識部９ｂ、表認識部９ｃ、編集
記号認識部９ｄの中から選択し、その認識部へ筆跡座標
データを入力して、認識部から認識結果を受け取り、こ
の結果をカテゴリー要素として決定する。The category discriminating unit 8 outputs the result to the category element recognizing unit 9 as the category discriminating result based on the confidence factor for each category calculated by the confidence factor scoring unit 6. To do. The category element recognizing unit 9 selects a recognizing unit corresponding to the category from the character recognizing unit 9a, the figure recognizing unit 9b, the table recognizing unit 9c, and the edit symbol recognizing unit 9d according to the category identifying result of the category identifying unit 8. Then, the handwriting coordinate data is input to the recognition unit, the recognition result is received from the recognition unit, and the result is determined as the category element.

【００１８】但し、確信度得点付け部６に於て、確信度
の算出の過程で文字認識部９ａなどの認識部によってカ
テゴリー要素が既に認識されている場合は、その認識結
果を用いてもよい。カテゴリー要素認識部９は、カテゴ
リー要素の認識結果(カテゴリーを表すコード、要素の
種類を表すコード、位置、大きさ)を文書編集装置２へ
出力する。However, in the confidence factor scoring unit 6, if the category element has already been recognized by the recognition unit such as the character recognition unit 9a in the process of calculating the confidence factor, the recognition result may be used. . The category element recognition unit 9 outputs the recognition result of the category element (a code indicating a category, a code indicating the type of element, a position, a size) to the document editing device 2.

【００１９】文書編集装置２は、カテゴリー要素の認識
結果に基づいて、文字や図形の入力や削除、移動などの
編集処理を行う。その編集処理後の文書情報を再度認識
装置５へ渡すことにより、文書情報用メモリ６ｂの文書
情報を編集後の文書情報と同じ内容に更新する。以上の
筆跡座標データの検出から、筆跡の認識、編集までの処
理を繰り返すことにより、文書編集が行われる。The document editing device 2 carries out editing processing such as inputting, deleting and moving characters and figures based on the recognition result of category elements. By passing the edited document information to the recognition device 5 again, the document information in the document information memory 6b is updated to the same content as the edited document information. Document editing is performed by repeating the processes from the detection of the handwriting coordinate data to the recognition and editing of the handwriting.

【００２０】本実施例では、文字認識部９ａ、図形認識
部９ｂ、表認識部９ｃ、編集記号認識部９ｄをカテゴリ
ー要素認識部９と確信度得点付け部６で共用している
が、カテゴリー要素認識部９と確信度得点付け部６とで
別々の認識部を使用しても構わない。例えば、文字認識
に於て、形状的な特徴による確信度の算出の場合は形状
的特徴からだけで認識するものを用い、カテゴリー要素
の認識の場合は、言語処理などの後処理を加えて認識す
るものを用いれば、カテゴリー要素認識部９、確信度得
点付け部６それぞれに適した認識処理を行え、処理の効
率化が行える。In the present embodiment, the character recognition unit 9a, the figure recognition unit 9b, the table recognition unit 9c, and the edit symbol recognition unit 9d are shared by the category element recognition unit 9 and the certainty factor scoring unit 6. The recognition unit 9 and the certainty factor scoring unit 6 may use different recognition units. For example, in character recognition, when calculating the certainty factor based on geometrical features, recognition is performed only from geometrical features, and in the case of categorical element recognition, post-processing such as language processing is added for recognition. If this is used, the recognition processing suitable for each of the category element recognition unit 9 and the certainty factor scoring unit 6 can be performed, and the processing efficiency can be improved.

【００２１】カテゴリーの確信度の算出方法について図
２、図３を用いて説明する。知識ベース７には、図２
(ａ)に示すように、カテゴリー確信度を算出するための
評価項目１〜Ｎを記述しておく。それぞれの評価項目に
対して確信度関数Ｆ１〜ＦＮを定義しておき、それぞれ
の確信度関数へ確信度別の入力データを与え、評価項目
の確信度関数別に確信度Ａ１〜ＡＮを求める。その一例
を図３(ａ)に示す。A method of calculating the certainty factor of a category will be described with reference to FIGS. The knowledge base 7 contains
As shown in (a), evaluation items 1 to N for calculating the category certainty factor are described. Certainty functions F1 to FN are defined for each evaluation item, input data for each certainty factor is given to each certainty function, and certainty factors A1 to AN are obtained for each certainty function of the evaluation item. An example thereof is shown in FIG.

【００２２】例えば、大きさに基づいて文字の確信度を
求める評価項目(Ｍ)の場合、確信度関数(ＦＭ)は、筆跡
の大きさ(筆跡を囲む矩形エリアの対角線長等)に対する
確信度の関数を定義しておき、筆跡の大きさを入力とし
て確信度(ＡＭ)を求める。肯定的な確信度(文字である)
を０.０〜１.０、否定的な確信度(文字でない)を−１.
０〜０.０で表す。For example, in the case of the evaluation item (M) for obtaining the certainty factor of a character based on the size, the certainty factor function (FM) is a certainty factor for the size of the handwriting (diagonal length of a rectangular area surrounding the handwriting). Function is defined, and the confidence factor (AM) is obtained by inputting the size of the handwriting. Positive certainty factor (which is a letter)
0.0 to 1.0, and the negative certainty factor (not a character) to -1.
It is expressed as 0 to 0.0.

【００２３】評価項目には、図３(ｂ)のように条件付き
のものがあり、その条件が満たされるか否かによって確
信度を算出するものがある。また、他の評価項目での評
価結果(条件を満たしているか否かの結果や確信度の値)
を条件として、その条件が満たされた時だけにその評価
項目を適用して確信度を算出するものがある。Some of the evaluation items are conditional, as shown in FIG. 3 (b), and some are for calculating the certainty factor depending on whether or not the condition is satisfied. Also, the evaluation results of other evaluation items (results of whether or not the conditions are satisfied and the value of certainty factor)
There is a method in which the certainty factor is calculated by applying the evaluation item only when the condition is satisfied.

【００２４】図２(ａ)に於て、評価項目ごとに確信度を
求めると、その都度、肯定的な確信度(＋)、否定的な確
信度(−)別に確信度を集計する。集計値の初期値は０で
あり、１つ前の集計値をＡ１、新たに評価した項目の確
信度をＡ２とすると、新たな集計値Ｂは集計式［Ｋ(Ａ
１，Ａ２)＝Ａ１＋(１−Ａ１)×Ａ２＝Ａ１＋Ａ２−Ａ
１×Ａ２］で求める。In FIG. 2 (a), when the certainty factor is calculated for each evaluation item, the certainty factor is summed up for each positive certainty factor (+) and negative certainty factor (-). The initial value of the aggregated value is 0, and if the previous aggregated value is A1 and the certainty factor of the newly evaluated item is A2, the new aggregated value B is the aggregate expression [K (A
1, A2) = A1 + (1-A1) × A2 = A1 + A2-A
1 × A2].

【００２５】この集計式は、集計の度に集計値が１.０
に近付いていき、また、適用される評価項目の順番によ
って集計値は変わらないことを示す。肯定的な確信度
(＋)、否定的な確信度(−)別に確信度を算出、集計する
と同時に、図２(ｂ)に示すように、肯定的な確信度
(＋)、否定的な確信度(−)を加算し、この加算値を、適
用した複数の評価項目に基づいたカテゴリ別の確信度
(合成確信度)とする。In this tabulation formula, the tabulated value is 1.0 for each tabulation.
It shows that the aggregated value does not change depending on the order of the evaluation items applied. Positive confidence
At the same time as calculating and totaling the confidence factors by (+) and negative confidence factors (-), as shown in FIG.
(+) And negative certainty factor (-) are added, and the added value is the certainty factor for each category based on the applied multiple evaluation items.
(Composite confidence).

【００２６】以上のように、本実施例での確信度の算出
方法は、知識ベース７内の評価項目の条件をＩＦ節(も
し〜ならば)、対応する確信度関数をＴＨＥＮ節(〜す
る)とし、どの評価項目を適用するか否かをＩＦ節(評価
項目の条件)で決定し、その都度ＴＨＥＮ節の処理(確信
度の算出)を実行するという、知識ベースシスムで一般
的なプロダンション・システム(ＩＦ、ＴＨＥＮ形式の
知識ベースシステム)の処理方法を採っている。As described above, in the method of calculating the certainty factor according to the present embodiment, the condition of the evaluation item in the knowledge base 7 is the IF clause (if ???) and the corresponding certainty function is the THEN clause (??? ), And which evaluation item is to be applied is determined by the IF clause (condition of the evaluation item), and the processing of the THEN clause (calculation of the certainty factor) is executed each time. -The system (IF, THEN type knowledge base system) processing method is adopted.

【００２７】これによって、評価項目を１項目づつ知識
ベース７に記述するだけで、これらの評価項目の従って
形状、位置、大きさ、既入力状況などから総合的にカテ
ゴリー毎の確信度の算出、カテゴリーの識別が行える。
また、容易に評価項目の登録、追加ができる。本実施例
におけるカテゴリー識別例を図４〜図９に示す。With this, by only describing the evaluation items one by one in the knowledge base 7, the confidence factor for each category is comprehensively calculated from the shape, the position, the size, the input condition, etc. of these evaluation items. The category can be identified.
Also, evaluation items can be easily registered and added. Examples of category identification in this embodiment are shown in FIGS.

【００２８】図４は２本線が筆記された場合のカテゴリ
ー識別例である。ｗは筆記されたもの、ｉは既入力のも
のを示す。図４(ａ)のように、空白位置に２本線が筆記
された場合は、「大きさに基づいた確信度の算出」とい
う内容の評価項目が適用され、文字、図形、表、編集記
号それぞれの確信度が算出される。FIG. 4 shows an example of category identification when two lines are written. w is written, i is already input. As shown in FIG. 4 (a), when a double line is written in a blank position, the evaluation item having the content of "calculation of certainty factor based on size" is applied to each of the characters, figures, tables, and edit symbols. Is calculated.

【００２９】小さければ文字の確信度が高く、大きけれ
ば、図形、表、編集記号の確信度が高くなる。これによ
って、小さければ文字カテゴリーに識別され、大きけれ
ば図形、表、編集記号のどれかに識別される。図４(ｂ)
のように、既入力文字列(ｉ)の上に２本線(ｗ)が筆記さ
れた場合は、大きさに基ずく確信度の算出の他に、「文
字列上の２本線(＝)は編集記号である」という内容の評
価項目が適用されて、編集記号の確信度が最も高くな
る。If it is small, the certainty factor of the character is high, and if it is large, the certainty factor of the figure, table, or edit symbol is high. By this, if it is small, it is identified as a character category, and if it is large, it is identified as a figure, a table, or an edit symbol. Figure 4 (b)
When the two-line (w) is written on the already-input character string (i) as in, the calculation of the certainty factor based on the size and “the two-line (=) on the character string is The evaluation item having the content "is an edit symbol" is applied, and the certainty factor of the edit symbol is maximized.

【００３０】図４(ｃ)のように既入力図形(ｉ１，ｉ２)
の近傍に２本線(ｗ)が筆記された場合は、「筆跡が直線
形状で、端点が図形の近傍にあれば、図形らしい」とい
う内容の評価項目が適用されて、図形の確信度が最も高
くなる。図４(ｄ)の場合のように表内(ｉ１)に２本線
(ｗ)が、既入力文字ｉ２やｉ３よりも大きく筆記された
場合は、「直線形状で文字より大きく、表内にあれば表
線である」という内容の評価項目が適用されて、表の確
信度が最も高くなる。As shown in FIG. 4 (c), already input figures (i1, i2)
If a two-line (w) is written in the vicinity of, the evaluation item with the content "If the handwriting is a straight line shape and the end points are near the figure, it looks like a figure" is applied, the confidence level of the figure is the highest. Get higher 2 lines in the table (i1) as in the case of FIG. 4 (d)
When (w) is written larger than the already input characters i2 and i3, the evaluation item with the content "larger than the character in a straight line shape and a front line if in the table" is applied, Highest confidence.

【００３１】図４(ｅ)のように数式(ｉ)の直後に筆記さ
れた場合は、「数式に続く＝は文字(＝)である」という
内容の評価項目が適用されて、文字の確信度が最も高
く、且つ他のカテゴリーの確信度との差が大きく開く。
また、この場合、文字カテゴリーに識別される他、文字
要素は算術記号「＝」に認識される。When written just after the mathematical expression (i) as shown in FIG. 4 (e), the evaluation item having the content that "= is a character (=) following the mathematical expression" is applied, and the certainty of the character is confirmed. The degree is the highest and the difference with the confidence of other categories is wide open.
Further, in this case, in addition to being identified by the character category, the character element is recognized by the arithmetic symbol "=".

【００３２】図５は、×形状が筆記された場合のカテゴ
リー識別例である。図５(ａ)〜(ｄ)は、それぞれ既入力
文字列(ｉ)上に×(ｗ)が筆記された場合、図形(ｉ)線上
に×(ｗ)が筆記された場合、空白上に×(ｗ)が筆記され
た場合、文字列(ｉ)の直後に筆記された場合であり、そ
れぞれ図５(ａ)〜(ｄ)に示した評価項目によって正規の
カテゴリーの確信度が最も高くなる。FIG. 5 shows an example of category identification when the X shape is written. 5A to 5D, when x (w) is written on the already input character string (i), when x (w) is written on the figure (i) line, it is displayed on the blank space. The case where x (w) is written is the case where it is written immediately after the character string (i), and the certainty factor of the regular category is highest due to the evaluation items shown in FIGS. 5 (a) to 5 (d). Become.

【００３３】図６は、丸形状が筆記された場合、またそ
の後に別のものが筆記された場合のカテゴリー識別例で
ある。図６(ａ)のように、空白上に丸(ｗ)が大きく筆記
された場合は、その丸内に何も存在しないため、「編集
記号には編集対象が存在する。(編集対象が存在しなけ
れば、編集記号ではない)」という内容の評価項目が適
用され、編集記号の確信度は低くなり、その結果、編集
記号ではなく、図形(楕円)に識別できる。FIG. 6 shows an example of category identification when a circular shape is written and another one is written thereafter. As shown in FIG. 6A, when a large circle (w) is written on the blank space, there is nothing inside the circle, so that “the edit symbol has an edit target. If not, the evaluation item having the content of "not an edit symbol" is applied, and the certainty factor of the edit symbol becomes low, and as a result, the figure (ellipse) can be identified instead of the edit symbol.

【００３４】しかし、図(ｂ)のように文字(ｉ)を囲んで
丸(ｗ)が筆記された場合は、同じ評価項目によって逆に
編集記号の確信度が少し高くなるようにしているが、図
形の確信度との差が開かず、図形(楕円)と編集記号(編
集対象の指定)が識別できない。このように、カテゴリ
ーを決定できない場合、本実施例では確信度得点付け部
６に於て、次にタブレット１上に筆記される筆跡の入力
を待ち、その筆跡データと合わせて、以前に筆記された
筆跡のカテゴリーを識別する。However, when the circle (w) is written around the character (i) as shown in FIG. (B), the certainty of the edit symbol is slightly increased by the same evaluation item. , The difference with the certainty factor of the figure does not open, and the figure (ellipse) and edit symbol (designation of edit target) cannot be identified. As described above, when the category cannot be determined, in the present embodiment, the certainty factor scoring unit 6 waits for the input of a handwriting to be written next on the tablet 1, and the handwriting data together with the handwriting is written before. Identify the category of handwriting.

【００３５】図６(ｃ)のように丸(ｗ１)が筆記された
後、矢印(ｗ)が筆記されると、丸(ｗ１)と矢印(ｗ２)と
を合わせて編集記号(移動用記号)になるため、丸(ｗ１)
は編集記号(編集対象の指定)であると識別できる。ま
た、図６(ｄ)の場合も、丸(ｗ１)と×(ｗ２)とを合わせ
て編集記号(指定範囲の削除用記号)になるため、丸(ｗ
１)は編集記号(編集対象の指定)であると識別できる。
図６(ｅ)のように、丸(ｗ１)が筆記された後、三角形
(ｗ２)が筆記された場合は、丸(ｗ１)と三角形(ｗ２)と
を合わせても編集記号にならないため、丸(ｗ１)は図形
(楕円)に識別する。When the arrow (w) is written after the circle (w1) is written as shown in FIG. 6 (c), the circle (w1) and the arrow (w2) are combined to create an edit symbol (moving symbol). ), Circle (w1)
Can be identified as an edit symbol (designation of edit target). In the case of FIG. 6D as well, the circle (w1) and × (w2) are combined to form an edit symbol (a symbol for deleting the designated range), so the circle (w
1) can be identified as an edit symbol (designation of an edit target).
As shown in Fig. 6 (e), after the circle (w1) is written, the triangle
When (w2) is written, the circle (w1) and the triangle (w2) do not become edit symbols even if they are combined, so the circle (w1) is a figure.
(Oval)

【００３６】また、図６(ｂ)のように丸(ｗ)が筆記され
た後、図６(ｆ)のように所定時間内に何の操作もなけれ
ば、丸(図(ｂ)のｗ)だけで意味をなすものとして判断
し、丸は図形ｒ(楕円)に識別するようになっている。図
７に示すように、文字(ｗ１)と編集記号(ｗ２、ｗ３)が
同時に筆記された場合は、筆記ストローク間でペンがタ
ブレット１から離れている時間(時間的情報)、ストロー
ク間の距離(空間的情報)から、文字や編集記号の切り出
し位置の候補(ｗ１、ｗ２、ｗ３)を求め、切り出し位置
の候補の組み合わせ(ｗ１、ｗ２、ｗ３［全てを切り
出す］。ｗ１、ｗ２＋ｗ３［ｗ１とｗ２の間で切り出
す］。ｗ１＋ｗ２、ｗ３［ｗ２とｗ３の間で切り出
す］、ｗ１＋ｗ２＋ｗ３［切り出さない］)を求め、
それぞれの切り出し候補別にカテゴリーの確信度を算出
し、これらの確信度によって切り出し位置を求めるよう
になっている。After the circle (w) is written as shown in FIG. 6 (b), if there is no operation within a predetermined time as shown in FIG. 6 (f), the circle (w in FIG. 6 (b) is written. ) Alone, the circle is identified as the figure r (ellipse). As shown in FIG. 7, when the character (w1) and the edit symbol (w2, w3) are written at the same time, the time the pen is away from the tablet 1 between the writing strokes (temporal information) and the distance between the strokes. From the (spatial information), the candidates (w1, w2, w3) for the cutout positions of the character or the editing symbol are obtained, and the combinations of the cutout position candidates (w1, w2, w3 [cut out all]. W1, w2 + w3 [w1 and w1 + w2, w3 [cut out between w2 and w3], w1 + w2 + w3 [not cut out]),
The certainty factor of each category is calculated for each cutout candidate, and the cutout position is obtained from these certainty factors.

【００３７】図７の場合は、ｗ１だけで文字になり得る
が、ｗ１とｗ２を合わせても、ｗ１とｗ２とｗ３を合わ
せても文字や図形、表、編集記号になり得ない。そし
て、ｗ２とｗ３を合わせると編集記号(移動用記号)にな
るため、ｗ１は文字、ｗ２とｗ３を合わせて編集記号
(移動用記号)に識別できる。図８は、文字と図形(四角
形)を同時に、且つ図形(四角形)が文字を囲んだ位置関
係で筆記された場合のカテゴリー識別例である。In the case of FIG. 7, w1 alone can be a character, but neither w1 and w2 nor w1, w2 and w3 can be a character, figure, table, or edit symbol. And when w2 and w3 are combined, it becomes an edit symbol (moving symbol), so w1 is a character, and w2 and w3 are combined and the edit symbol is
(Transfer symbol) can be identified. FIG. 8 is an example of category identification in the case where a character and a figure (rectangle) are written at the same time and the figure (rectangle) is written in a positional relationship surrounding the character.

【００３８】図８(ａ)(ｂ)(ｃ)は筆記した例であり、同
図(ａ)’(ｂ)’(ｃ)’はカテゴリー、 要素の識別結果
である。図８(ａ)のように、四角形(ｗ１)内に文字列
(ｗ２)が筆記された場合、ｗ１とｗ２を合わせた形状の
文字は存在しないため、ｗ１は図形(四角形)または編集
記号(編集範囲の指定)、ｗ２は文字に識別する。FIGS. 8A, 8B, and 8C are written examples, and FIGS. 8A, 8B, 8C, and 8C are results of category and element identification. As shown in Fig. 8 (a), the character string is written in the rectangle (w1).
When (w2) is written, there is no character having a shape that combines w1 and w2, so w1 is identified as a figure (square) or an edit symbol (designation of edit range), and w2 is identified as a character.

【００３９】図８(ｂ)のように、国という文字を筆記し
た場合、ｗ１は四角形の形状をしているが、ｗ１とｗ２
を合わせて文字(国)になり、且つｗ１とｗ２の位置、大
きさ的にもバランスよく国という文字に合っているため
ｗ１とｗ２を合わせて文字(国)と識別する。図８(ｃ)の
ように、四角形(ｗ１)の中に玉(ｗ２)という文字を小さ
く筆記した場合、ｗ１とｗ２を合わせて文字(国)になる
が、国という文字の四角形部分に対する玉のパターンの
部分の大きさの比率と比較し、ｗ１に対するｗ２の大き
さの比率が非常に小さいため、ｗ１は図形(四角形)、ｗ
２は文字(玉)に識別する。As shown in FIG. 8 (b), when the character "nation" is written, w1 has a square shape, but w1 and w2
Are combined to form a character (country), and the positions and sizes of w1 and w2 are well-balanced and match the character "country". Therefore, w1 and w2 are combined to be identified as a character (country). As shown in Fig. 8 (c), when a small character (w2) is written in a square (w1), w1 and w2 are combined to form a character (country). Since the ratio of the size of w2 to w1 is very small compared with the ratio of the size of the pattern part of w, w1 is a figure (square), w
2 is identified as a character (ball).

【００４０】ｗ１とｗ２を合わせた形状の文字が存在す
るか否かの判定は、ｗ１とｗ２の筆跡データを合成して
文字認識した結果が、所定の閾値以上の類似度を得てい
るか、もしくはｗ１が四角形をしており、ｗ２がｗ１と
対になって文字になるパターン(国という文字の玉の文
字パターン、因という文字の大の文字パターンなど)で
あるか否かによって行う。Whether or not there is a character having a shape in which w1 and w2 are combined is determined by recognizing whether the result of character recognition by combining the handwriting data of w1 and w2 has a similarity of a predetermined threshold value or more. Alternatively, it is performed depending on whether w1 is a quadrangle and w2 is a pattern that becomes a character by pairing with w1 (a character pattern of a ball of a country, a large character pattern of a cause, etc.).

【００４１】図９は、小さい丸が筆記された場合のカテ
ゴリー識別例である。図９(ａ)のように、文字列(ｉ)に
続く位置に小さい丸(ｗ)が筆記された場合は、文字(句
点)であり、図(ｂ)のように、文字列(ｉ)の直前の位置
に小さい丸(ｗ)が筆記された場合は、文字(見出し文字
○、●)であると識別する。また、図９(ｃ)のように、
図形線(ｉ)の上または端位置に丸(ｗ１，ｗ２，ｗ３)が
筆記された場合は、それぞれ図形(円)であると識別す
る。FIG. 9 shows an example of category identification when a small circle is written. As shown in FIG. 9A, when a small circle (w) is written at a position following the character string (i), it is a character (punctuation mark), and as shown in FIG. 9B, the character string (i) When a small circle (w) is written in the position immediately before, it is identified as a character (heading character ◯, ●). Also, as shown in FIG. 9 (c),
When circles (w1, w2, w3) are written on the graphic line (i) or at the end positions, it is identified as a graphic (circle).

【００４２】図４〜図９に示したカテゴリー識別例、評
価項目の他に、カテゴリーを識別するための評価項目は
多く存在し、これらの評価項目を知識ベース７に記述す
ることにより、それぞれの評価項目に従ってカテゴリー
の確信度が算出され、様々なケースにおいて正しくカテ
ゴリーを識別できる。In addition to the category identification examples and the evaluation items shown in FIGS. 4 to 9, there are many evaluation items for identifying the category. By describing these evaluation items in the knowledge base 7, The confidence level of the category is calculated according to the evaluation item, and the category can be correctly identified in various cases.

【００４３】[0043]

【発明の効果】本発明の手書き認識装置によれば、文
字、図形、表、編集記号など複数のカテゴリーを混在で
正確に認識できるため、カテゴリーの切り替え操作など
の煩わしい操作はなく、筆記のみで文字や図形、表を含
む文書の編集を容易に行える。According to the handwriting recognition device of the present invention, since a plurality of categories such as characters, figures, tables, and edit symbols can be accurately recognized in a mixed manner, there is no troublesome operation such as category switching operation, and only writing is required. You can easily edit documents including characters, figures, and tables.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例の手書き情報認識装置の構成
を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a handwriting information recognition device according to an embodiment of the present invention.

【図２】この実施例の手書き情報認識装置のカテゴリー
別確信度の算出方法を示す図である。FIG. 2 is a diagram showing a method for calculating a category-based certainty factor of the handwriting information recognition device in this embodiment.

【図３】この実施例の手書き情報認識装置のカテゴリー
別確信度の算出方法を示す図である。FIG. 3 is a diagram showing a method of calculating a category-based certainty factor of the handwriting information recognition apparatus in this embodiment.

【図４】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 4 is a diagram showing an example of category identification by the handwriting information recognition apparatus in this embodiment.

【図５】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 5 is a diagram showing an example of category identification by the handwriting information recognition apparatus in this embodiment.

【図６】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 6 is a diagram showing an example of category identification by the handwriting information recognition apparatus in this embodiment.

【図７】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 7 is a diagram showing an example of category identification by the handwriting information recognition apparatus in this embodiment.

【図８】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 8 is a diagram showing an example of category identification by the handwriting information recognition device in this embodiment.

【図９】この実施例の手書き情報認識装置によるカテゴ
リーの識別例を示す図である。FIG. 9 is a diagram showing an example of category identification by the handwriting information recognition apparatus in this embodiment.

【符号の説明】[Explanation of symbols]

１ 表示入力一体型タブレット １ａ ＬＣＤ表示部 １ｂ ペンの座標検出部 ２ 文書編集装置 ３ 文書情報記憶装置 ５ 認識装置 ６ 確信度得点付け部 ６ａ 筆跡情報用メモリ ６ｂ 文書情報用メモリ ７ 知識ベース ８ カテゴリー識別部 ９ カテゴリー要素認識部 ９ａ 文字認識部 ９ｂ 図形認識部 ９ｃ 表認識部 ９ｄ 編集記号認識部。 1 Display / input integrated tablet 1a LCD display unit 1b Pen coordinate detection unit 2 Document editing device 3 Document information storage device 5 Recognition device 6 Confidence score scoring unit 6a Handwriting information memory 6b Document information memory 7 Knowledge base 8 Category identification Part 9 Category element recognition part 9a Character recognition part 9b Graphic recognition part 9c Table recognition part 9d Editing symbol recognition part.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀井 洋 大阪府守口市京阪本通２丁目18番地 三洋 電機株式会社内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Hiroshi Horii 2-18 Keihan Hondori, Moriguchi City, Osaka Sanyo Electric Co., Ltd.

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 ペンで筆跡座標を入力するための座標入
力手段(1b)と、 文書情報を記憶する文書情報記憶手段(3)と、 前記文書情報を表示する表示手段(1a)と、 前記座標入力手段で入力された筆跡座標、あるいは前記
文書情報記憶手段に記憶されている既入力文書情報か
ら、複数のカテゴリーを混在で認識する複数カテゴリー
認識手段(5)とを有する手書き情報認識装置であって、 前記複数カテゴリー認識手段(5)は、 前記座標入力手段で入力された筆跡の特徴、あるいは該
筆跡と前記文書情報記憶手段に記憶されている既入力文
書情報から、カテゴリーを識別するための評価項目に従
って、文字らしさ、図形らしさ、編集用記号らしさな
ど、それぞれのカテゴリー毎に該カテゴリーとしての確
信度を得点付けする確信度得点付け手段(6)と、 該確信度得点付け手段で得られた得点が最も高いか、該
得点が所定の閾値以上あるカテゴリーをカテゴリー識別
結果とするカテゴリー識別手段(8)と、 該カテゴリー識別手段で得られたカテゴリーの要素を認
識対象として該要素を認識するカテゴリー要素認識手段
(9)とを備える手書き情報認識装置。1. A coordinate input means (1b) for inputting handwriting coordinates with a pen, a document information storage means (3) for storing document information, a display means (1a) for displaying the document information, and A handwriting information recognition device having a plurality of category recognition means (5) for recognizing a plurality of categories in a mixed manner from the handwriting coordinates input by the coordinate input means, or the already input document information stored in the document information storage means. The multi-category recognizing means (5) is for identifying a category from the characteristics of the handwriting input by the coordinate inputting means, or the handwriting and the already-input document information stored in the document information storage means. In accordance with the evaluation items of (1), a confidence factor scoring means (6) for scoring the confidence factor of each category such as character likelihood, figure likelihood, edit symbol likelihood, etc. A category identification means (8) which has the highest score obtained by the scoring means or a category having the score equal to or higher than a predetermined threshold value as a category identification result, and an element of the category obtained by the category identification means as a recognition target. Category element recognition means for recognizing the element as
(9) A handwritten information recognition device comprising: