JP3353954B2

JP3353954B2 - 手書き入力表示方法および手書き入力表示装置

Info

Publication number: JP3353954B2
Application number: JP20091893A
Authority: JP
Inventors: 公之茶谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-08-13
Filing date: 1993-08-13
Publication date: 2002-12-09
Anticipated expiration: 2017-12-09
Also published as: KR950006650A; JPH0757053A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば電子手帳装置、
携帯用のコンピュータなどに用いて好適な手書き入力表
示方法および手書き入力表示装置に関する。

【０００２】

【従来の技術】最近、例えば電子手帳装置などのよう
に、文字を手書き入力することができる装置が普及しつ
つある。このように文字を手書き入力することができる
装置は、通常のワードプロセッサなどとは異なり、キー
ボードではなく、ペンを用いてボード上に文字を書くこ
とにより、文字を入力することができるため、紙の上に
鉛筆などで文字を書く感覚で、手軽に文字を入力するこ
とができる。キーボードを用いる場合に較べて、キーの
位置などを記憶する必要がないため、初心者でも容易に
文字を入力することができる。

【０００３】このように文字を手書き入力することがで
きる装置においては、文字を入力する入力枠を設けてあ
るものと、入力枠を設けておらず、任意の位置に文字を
入力することができるものがある。

【０００４】入力枠を設けた装置においては、使用者
は、その入力枠の中に文字を１字ずつ手書き入力するこ
とになる。この入力枠は、通常、複数の領域に区分され
ており、使用者は各領域に１文字ずつ入力することにな
る。入力する位置が制限されるため、その分だけ、使用
者にとっては操作性が悪いことになるが、各文字を入力
する領域が区分されているため、入力された文字を１文
字ずつ切り出す必要がなく、各文字を比較的正確に認識
することが可能である。

【０００５】これに対して、入力枠を設けていない装置
においては、入力ボード（タブレット）上の任意の位置
に、使用者が文字を手書き入力することになる。この場
合、手書き入力された文字は、所定のタイミングで文字
として認識されていた。

【０００６】即ち、文字が入力されると、入力された文
字と文字の境界が決定される。そして、切り出されたそ
れぞれの文字を１字の文字として認識し、その認識結果
が表示される。

【０００７】その結果、例えば図３９（ａ）に示すよう
に、使用者が「明」という漢字を入力した場合、この
「日」と「月」の文字が、２つで１つの文字を構成する
ものとして切り出された場合においては、入力された文
字が「明」の漢字として認識されることになる。

【０００８】しかしながら、図３９（ｂ）に示すよう
に、この「日」と「月」の文字の間隔が比較的開いてし
まうなどして、これらの文字がそれぞれ別個の文字とし
て切り出されたような場合においては、「日」と「月」
の文字がそれぞれ別個の文字として認識されることにな
る。

【０００９】

【発明が解決しようとする課題】従来の装置は、このよ
うに、「明」の文字として認識された結果、あるいは
「日」と「月」の文字として認識された結果が、使用者
の意図と異なる場合、入力を再度行わなければならず、
意図する文字を入力するのに時間がかかる課題があっ
た。

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、より迅速に所望の文字、図形などを入力す
ることができるようにするものである。

【００１１】

【課題を解決するための手段】本発明の手書き入力表示
方法は、ユーザによる、入力部への筆跡の手書き入力を
制御する入力制御ステップと、入力制御ステップの処理
により入力が制御された筆跡の記憶部への記憶を制御す
る筆跡記憶制御ステップと、筆跡記憶制御ステップの処
理により記憶が制御された筆跡をセグメンテーションに
区分して、文字認識を行い、認識結果を得る第１の認識
ステップと、筆跡記憶制御ステップの処理により記憶が
制御された筆跡と、第１の認識ステップの処理により得
られた認識結果のうちの第１の認識結果を表示させるよ
うに制御する第１の表示制御ステップと、入力制御ステ
ップの処理により新たに入力された筆跡が、セグメンテ
ーションの修正指示であるか否かを判定する第１の判定
ステップと、第１の判定ステップの処理により、セグメ
ンテーションの修正指示が入力されたと判定された場
合、第１の認識ステップの処理により得られた認識結果
に、修正指示により修正されたセグメンテーションに対
応する第２の認識結果が含まれているか否かを判定する
第２の判定ステップと、第２の判定ステップの処理によ
り、修正指示により修正されたセグメンテーションに対
応する第２の認識結果が含まれていると判定された場
合、第２の認識結果を表示させるように制御する第２の
表示制御ステップと、第２の判定ステップの処理によ
り、修正指示により修正されたセグメンテーションに対
応する第２の認識結果が含まれていないと判定された場
合、筆跡記憶制御ステップの処理により記憶されている
筆跡のうち、修正指示に基づいたセグメンテーションに
対応する部分に対して、新たに文字認識を行い、第３の
認識結果を得る第２の認識ステップと、第２の認識ステ
ップの処理により認識された第３の認識結果を表示させ
るように制御する第３の表示制御ステップとを含むこと
を特徴とする。

【００１２】このセグメンテーションの修正指示は、ジ
ェスチャにより行うようにすることができる。また、セ
グメンテーションの修正指示は、入力された筆跡の拡
大、縮小、削除、移動、または変形のいずれかの指示で
あるものとすることができる。また、本発明の手書き入
力表示装置は、筆跡の手書き入力を受ける入力手段と、
入力手段により入力された筆跡を記憶する筆跡記憶手段
と、筆跡記憶手段により記憶された筆跡をセグメンテー
ションに区分して、文字認識を行い、認識結果を得る認
識手段と、筆跡記憶手段により記憶された筆跡と、認識
手段により得られた認識結果のうちの第１の認識結果を
表示する表示手段と、入力手段により新たに入力された
筆跡が、セグメンテーションの修正指示であるか否かを
判定する第１の判定手段と、第１の判定手段により、セ
グメンテーションの修正指示が入力されたと判定された
場合、認識手段により得られた認識結果に、修正指示に
より修正されたセグメンテーションに対応する第２の認
識結果が含まれているか否かを判定する第２の判定手段
とを備え、第２の判定手段により、修正指示により修正
されたセグメンテーションに対応する第２の認識結果が
含まれていると判定された場合、表示手段は、第２の認
識結果を更に表示し、第２の判定手段により、修正指示
により修正されたセグメンテーションに対応する第２の
認識結果が含まれていないと判定された場合、認識手段
は、筆跡記憶手段により記憶されている筆跡のうち、修
正指示に基づいたセグメンテーションに対応する部分に
対して、新たに文字認識を行って、第３の認識結果を
得、表示手段は、認識手段により認識された第３の認識
結果を更に表示することを特徴とする。

【００１３】

【作用】本発明の手書き入力表示方法および手書き入力
表示装置においては、筆跡の手書き入力を受け、入力さ
れた筆跡が記憶され、記憶された筆跡がセグメンテーシ
ョンに区分されて、文字認識が行われ、認識結果が得ら
れ、記憶された筆跡と、得られた認識結果のうちの第１
の認識結果が表示され、新たに入力された筆跡が、セグ
メンテーションの修正指示であるか否かが判定され、セ
グメンテーションの修正指示が入力されたと判定された
場合、得られた認識結果に、修正指示により修正された
セグメンテーションに対応する第２の認識結果が含まれ
ているか否かが判定され、修正指示により修正されたセ
グメンテーションに対応する第２の認識結果が含まれて
いると判定された場合、第２の認識結果が表示され、修
正指示により修正されたセグメンテーションに対応する
第２の認識結果が含まれていないと判定された場合、記
憶されている筆跡のうち、修正指示に基づいたセグメン
テーションに対応する部分に対して、新たに文字認識が
行われて、第３の認識結果が得られ、第３の認識結果が
表示される。

【００１４】

【実施例】図１は、本発明の手書き入力表示方法を応用
した装置の一実施例の構成を示すブロック図である。Ｃ
ＰＵ１は、ＲＯＭ２に記憶されているプログラムに従っ
て各部を制御し、文字入力表示動作を実行するようにな
されている。ＲＡＭ３には、必要に応じて所定のデータ
などが記憶される。バックアップＲＡＭ４には、バッテ
リ５から常に所定の電力が供給されており、装置の電源
をオフした場合においても、記憶しておきたい情報を記
憶するようになされている。タイマ６は、水晶振動子７
を基準にして、バッテリ５で常時動作するようになされ
ている。

【００１５】ディスプレイコントローラ１１は、バスラ
イン８を介して入力されるデータをＶ−ＲＡＭ１２に展
開し、そこに展開された画像をディスプレイ部１３に表
示させるようになされている。入力タブレット１５は、
ペン１６を操作することにより、入力された座標位置デ
ータをタブレットインタフェース１４に出力し、タブレ
ットインタフェース１４は、このデータをバスライン８
を介してＣＰＵ１あるいはディスプレイコントローラ１
１に出力するようになされている。

【００１６】マイク１８は、集音した音声信号を固体録
音処理回路１７に出力し、記憶させるようになされてい
る。また、固体録音処理回路１７が出力した音声信号
は、加算器２０を介してスピーカ２１に供給され、放音
されるようになされている。ダイアラー１９は、ＣＰＵ
１に制御され、所定のダイアル信号を加算器２０を介し
てスピーカ２１に出力するようになされている。

【００１７】複数のキースイッチ群２２は、装置の動作
を切り換えるとき操作され、その操作に対応する信号が
キーインタフェース２３からバスライン８を介してＣＰ
Ｕ１に出力されるようになされている。また、複数のキ
ースイッチ群２４の所定のものを操作することにより電
源回路２５をオンし、各部に電力を供給させるようにし
たり、固体録音処理回路１７による録音、再生、停止、
音量調整などを実行することができるようになされてい
る。

【００１８】さらに、ソケット２６には、図示せぬＩＣ
カードを挿入することができるようになされており、Ｉ
Ｃカードインタフェース２７は、このＩＣカードに対し
てデータを授受するようになされている。

【００１９】ピンコネクタ２９には、例えばモデムなど
を接続することができ、拡張用インタフェース２８とこ
のモデムを介して信号を授受できるようになされてい
る。

【００２０】尚、入力タブレット１５は、透明な材質に
より構成され、ディスプレイ部１３の上に形成されてい
る。その結果、ディスプレイ部１３の表示が入力タブレ
ット１５を介して見ることができるようになされてい
る。

【００２１】次に、図１の実施例の動作について、図２
のフローチャートを参照して説明する。ペン１６で入力
タブレット１５上に所定の文字を手書き入力すると、そ
の筆跡データがタブレットインタフェース１４を介して
ＲＡＭ３に供給され、記憶される。このデータは、ディ
スプレイコントローラ１１により読み出され、Ｖ−ＲＡ
Ｍ１２に供給され、ビットマップデータとして展開され
る。さらに、Ｖ−ＲＡＭ１２に記憶されたデータは、デ
ィスプレイコントローラ１１により読み出され、ディス
プレイ部１３に供給され、表示される。このようにし
て、ディスプレイ部１３にペン１６の筆跡が表示され
る。

【００２２】尚、この入力は、入力タブレット１５上の
任意の位置に行われるものであり、所謂入力枠が設けら
れていない状態で行われる。そして、入力された筆跡の
データは、ＲＡＭ３の手書き筆跡データベースＤＢ１に
記憶される。

【００２３】このように入力が行われると、ＣＰＵ１
は、最初にステップＳ１において、文字認識処理を実行
する。このとき、ＣＰＵ１は、手書き筆跡データベース
ＤＢ１から筆跡を読み出し、この筆跡を、文字認識の１
単位とされる文字セグメンテーションに区分する。そし
て、文字セグメンテーション毎に文字認識を行い、認識
した結果得られた認識結果が、ＲＡＭ３の認識結果デー
タベースＤＢ２に供給され、記憶される。

【００２４】次にステップＳ２に進み、以上のようにし
て得られた認識結果のうち、第１番目の認識結果が認識
結果データベースＤＢ２より読み出され、ディスプレイ
部１３上に表示される。即ち、ＣＰＵ１は、文字セグメ
ンテーション毎に予め記憶されている所定の文字との類
似度（スコア）を演算し、類似度の最も高いものから順
番に、認識結果にランク付けを行い、最も類似度の高い
認識結果を第１番目の認識結果として、ここに表示す
る。

【００２５】次にステップＳ３に進み、使用者が新たに
入力する筆跡を受け取る。そしてステップＳ４におい
て、ステップＳ３で受け取った筆跡が、文字セグメンテ
ーションの修正を指示するものであるか否かを判定す
る。文字セグメンテーションの修正を指示するものでな
い場合、この図２における処理以外の処理が行われるこ
とになるので、このフローチャートに示す処理を終了さ
せる。入力が文字セグメンテーションの修正を指示する
ものである場合、ステップＳ４からステップＳ５に進
む。

【００２６】この実施例の場合、図３乃至図１０に示す
ように、文字セグメンテーションの修正は、文字セグメ
ンテーション内の筆跡範囲の拡大（図３）、文字セグメ
ンテーション内の筆跡範囲の縮小（図４）、文字セグメ
ンテーション内の筆跡の部分消去（図５）、文字セグメ
ンテーション内の筆跡の部分集合の位置の移動（図
６）、文字セグメンテーション内の筆跡の部分集合の大
きさの拡大（図７）、文字セグメンテーション内の筆跡
の部分集合の大きさの縮小（図８）、文字セグメンテー
ション内への新たな筆跡の追加（図９）、または、文字
セグメンテーション内の筆跡の部分集合の形状の変形
（図１０）のいずれかとされる。

【００２７】各処理の詳細は、図１１乃至図２９を参照
して後述するが、理解を容易にするために、ここで、文
字セグメンテーションの８種類の変更例について簡単に
説明する。

【００２８】図３に示すように、文字セグメンテーショ
ン内の筆跡範囲の拡大は、例えば、平仮名で「いしい」
の文字が手書き入力され、本来１文字として認識される
べき「い」の第１画と第２画の入力が、それぞれ別個の
文字セグメンテーションとして区分されて文字認識され
ているような場合において、第１画と第２画を、同一の
文字セグメンテーション内に含めるように修正するもの
である。

【００２９】文字セグメンテーション内の筆跡範囲の縮
小は、図４に示すように、例えば、「矢口渡」の漢字
を入力し、本来２つの独立した文字として認識されるべ
き文字「矢」と「口」が、１つの文字セグメンテーショ
ン内の文字「知」として認識されているような場合に、
この文字「知」のうち、「矢」と「口」とをそれぞれ独
立した文字として認識させるために、文字セグメンテー
ションを２つに分割する修正を行うものである。

【００３０】文字セグメンテーション内の筆跡の部分消
去は、図５に示すように、文字「大」を入力すべきとこ
ろ、文字「天」を入力してしまったような場合、文字
「天」の第１画を消去して、文字「大」に変更するとき
用いられる。

【００３１】文字セグメンテーション内の筆跡の部分集
合の位置の移動は、図６に示すように、例えば、文字
「工」を入力すべきところ、その第２画を第１画より上
方に突出するように入力してしまったため、文字「土」
と認識されてしまったような場合、第１画を上方に移動
して、第２画と接する位置まで移動させるようなときに
用いられる。

【００３２】文字セグメンテーション内の筆跡の部分集
合の大きさの拡大は、図７に示すように、例えば、平仮
名で「たい」と入力すべきところ、平仮名「い」の大き
さが、平仮名「た」に較べて小さくなってしまったため
に、この平仮名「い」が小文字の「ぃ」として認識され
てしまったような場合、この小文字の「ぃ」を、通常の
大きさの「い」に変更する場合に用いられる。

【００３３】また、文字セグメンテーション内の筆跡の
部分集合の大きさの縮小は、図８に示すように、例え
ば、「２ヵ所」と入力すべきところ、中央の文字のカタ
カナ「ヵ」を大きく入力してしまったために、この文字
が通常の大きさの「カ」として認識されてしまったよう
な場合、これを小文字の「ヵ」に変更するようなとき用
いられる。

【００３４】文字セグメンテーション内への新たな筆跡
の追加は、図９に示すように、本来文字「犬」を入力す
べきところ、誤って、「大」の文字を入力してしまった
ことに後から気が付いたような場合において、文字
「大」を含む文字セグメンテーションに点を付加して、
これを文字「犬」に変更するような場合に用いられるも
のである。

【００３５】文字セグメンテーション内の筆跡の部分集
合の形状の変形は、図１０に示すように、本来カタカナ
の「ア」を入力すべきところ、入力がアルファベット文
字「Ｔ」と認識されてしまったようなとき、第１画の右
端部分を下側に折り曲げるように形状を変形し、認識結
果をカタカナの「ア」としたいときに用いられる。

【００３６】図２に戻って、ステップＳ４において、入
力が文字セグメンテーションの修正を指示するものであ
ると判定されたとき、ステップＳ５に進み、そこにおい
て修正指示に合致する認識結果が存在するか否かを判定
する。即ち、このときＣＰＵ１は、修正された文字セグ
メンテーションに対応する認識結果が、認識結果データ
ベースＤＢ２に記憶されているか否かを判定し、そのよ
うな認識結果が既に得られている場合、ステップＳ６に
進み、その認識結果を読み出し、ディスプレイ部１３に
表示させる。

【００３７】例えば、図４に示す実施例のように、漢字
「矢口」を入力したとき、その第１の認識結果として
は、「知」が得られたとしても、例えば第２の認識結果
として「矢口」が既に得られていれば、図４に示す文字
セグメンテーション内の筆跡の範囲の縮小を指示する
と、既に得られている第２候補の認識結果「矢口」が表
示されることになる。

【００３８】一方、ステップＳ５において、修正指示に
合致する認識結果が存在しないと判定された場合、ステ
ップＳ７に進み、修正指示に合致する文字セグメンテー
ションを持つ手書き筆跡が生成される。即ち、このとき
ＣＰＵ１は、文字セグメンテーションの区分を修正指示
に対応してやり直し、修正した文字セグメンテーション
に対応する筆跡を、手書き筆跡データベースＤＢ１から
読み出し、その文字セグメンテーションに含まれる筆跡
とする。そして、これをＲＡＭ３の修正用手書き筆跡デ
ータベースＤＢ３に供給し、記憶させる。このステップ
Ｓ７のより詳細な処理は、図１１を参照して後述する。

【００３９】次にステップＳ８に進み、修正用手書き筆
跡データベースＤＢ３に記憶した文字セグメンテーショ
ンを文字認識する。そして、認識した結果得られた認識
結果を、ＲＡＭ３の修正用認識結果データベースＤＢ４
に供給し、記憶させる。

【００４０】次にステップＳ９に進み、修正用認識結果
データベースＤＢ４の内容で、認識結果データベースＤ
Ｂ２の内容を書き替える。そして、このステップＳ９の
次にステップＳ２に戻り、それ以降の処理を繰り返し実
行する。

【００４１】尚、この実施例においては、ステップＳ３
において、文字セグメンテーション修正の指示をジェス
チャ（手書き入力）として受け取るようにしたが、ディ
スプレイ部１３上に表示されたアイコンから入力させた
り、キーボード、マウスなどから所定の入力をさせるよ
うにすることも可能である。

【００４２】また、手書き筆跡データベースＤＢ１と修
正用手書き筆跡データベースＤＢ３を独立のものとして
構成しているが、ステップＳ７の修正後の手書き筆跡生
成時に、手書き筆跡データベースＤＢ１を直接変更する
ようにすれば、修正用手書き筆跡データベースＤＢ３は
省略することが可能である。この場合、ステップＳ８に
おける文字認識は、手書き筆跡データベースＤＢ１を用
いて行われることになる。

【００４３】また同様に、認識結果データベースＤＢ２
と修正用認識結果データベースＤＢ４を１つにすること
も可能である。この場合、ステップＳ８における文字認
識の結果で、認識結果データベースＤＢ２が直接変更さ
れる。

【００４４】ここで、データの構成について説明してお
くと、入力された筆跡は、各画毎に次のように表され
る。第１画ｓ［１］＝｛（ｘ［１］,ｙ［１］）,・・・,（ｘ
［ｎ］,ｙ［ｎ］）｝第２画ｓ［２］＝｛（ｘ［ｎ＋１］,ｙ［ｎ＋１］）,
・・・｝第３画ｓ［３］＝｛・・・｝・・・第ｋ画ｓ［ｋ］＝｛・・・｝

【００４５】即ち、第ｉ画の筆跡データｓ［ｉ］は、座標点列（ｘ［ａ］，ｙ［ａ］），・・・，（ｘ
［ｂ］，ｙ［ｂ］）で表される。

【００４６】さらに、文字認識結果は、次のように表さ
れる。第１位ｒ［１］＝｛〈ｓ［ａ１１］，ｓ［ｂ１１］：ｃｏｄｅ［１］［１］〉，〈ｓ［ａ１２］，ｓ［ｂ１２］：ｃｏｄｅ［１］［２］〉，〈ｓ［ａ１３］，ｓ［ｂ１３］：ｃｏｄｅ［１］［３］〉，・・・・・，〈ｓ［ａ１ｑ］，ｓ［ｂ１ｑ］：ｃｏｄｅ［１］［ｑ］〉｝第２位ｒ［２］＝｛〈ｓ［ａ２１］，ｓ［ｂ２１］：ｃｏｄｅ［１］［１］〉，〈ｓ［ａ２２］，ｓ［ｂ２２］：ｃｏｄｅ［１］［２］〉，〈ｓ［ａ２３］，ｓ［ｂ２３］：ｃｏｄｅ［１］［３］〉，・・・・・，〈ｓ［ａ２ｐ］，ｓ［ｂ２ｐ］：ｃｏｄｅ［１］［ｐ］〉｝，・・・・・

【００４７】第ｊ位の認識結果は、文字を構成するスト
ローク（１画分筆跡）の開始ストロークｓ［ｍ］と終了
ストロークｓ［ｎ］、およびそのストローク群に対する
認識結果の文字コードｃｏｄｅ［］［］の３要素を１単
位とし、文字セグメンテーションの個数分の単位を持
つ。例えば、図３の上から２番目に示す例であれば、となる。

【００４８】また、ステップＳ７における、修正指示に
合致する文字セグメンテーションを有する手書き筆跡を
生成する処理を、図３の上から２番目に示す例について
説明すると、次のようになる。即ち、第１画乃至第５画
の筆跡集合は、ｓ［１］，ｓ［２］，ｓ［３］，ｓ
［４］，ｓ［５］で表される。これに対して、文字セグ
メンテーション結果Ｇ［ｉ］は、次のように表される。Ｇ［１］＝｛ｓ［１］｝Ｇ［２］＝｛ｓ［２］｝Ｇ［３］＝｛ｓ［３］｝Ｇ［４］＝｛ｓ［４］，ｓ［５］｝

【００４９】この文字セグメンテーション結果Ｇ［ｉ］
に対応する文字認識結果Ｒ［ｉ］は、次のように表され
る。Ｒ［１］＝｛’し’｝Ｒ［２］＝｛’１’｝Ｒ［３］＝｛’し’｝Ｒ［４］＝｛’い’｝

【００５０】図３の上から３番目に示す処理の場合、Ｇ
［１］とＧ［２］を結合する処理であるため、筆跡範囲
拡大記号入力後の文字セグメンテーションＧ’［１］
は、次のようになる。Ｇ’［１］＝｛ｓ［１］，ｓ［２］｝

【００５１】そして、拡大指示記号入力前と異なる筆跡
となるｓ［１］，ｓ［２］が修正用手書き筆跡データベ
ースＤＢ３に格納される。

【００５２】上述した修正指示に対応して生成される筆
跡データの例を挙げると、次のようになる。

【００５３】・文字セグメンテーションにより区分された筆跡範囲の拡大Ｇ［１］＝｛ｓ［１］｝Ｇ［２］＝｛ｓ［２］｝ → Ｇ’［１］＝｛ｓ［１］，ｓ［２］｝修正指示入力前修正指示入力後

【００５４】・文字セグメンテーションにより区分された筆跡範囲の縮小Ｇ［１］＝｛ｓ［１］，ｓ［２］，ｓ［３］｝ → Ｇ’［１］＝｛ｓ［１］｝

【００５５】・文字セグメンテーションされた筆跡への筆跡の追加Ｇ［１］＝｛ｓ［１］，ｓ［２］，ｓ［３］｝ → Ｇ’［１］＝｛ｓ［１］，ｓ［２］，ｓ［３］，ｓ’｝

【００５６】・文字セグメンテーションされた筆跡の部分消去Ｇ［１］＝｛ｓ［１］，ｓ［２］，ｓ［３］｝Ｇ［２］＝｛ｓ［４］，ｓ［５］｝ → Ｇ’［１］＝｛ｓ［１］｝Ｇ’［２］＝｛ｓ［４］，ｓ［５］｝

【００５７】・文字セグメンテーションされた筆跡の部
分集合の位置移動・文字セグメンテーションされた筆跡の部分集合の形状
変形・文字セグメンテーションされた筆跡の部分集合の大き
さ拡大・文字セグメンテーションされた筆跡の部分集合の大き
さ縮小以上、４指示は共通で、次のようになる。Ｇ［１］＝｛ｓ［１］，ｓ［２］，ｓ［３］｝Ｇ［２］＝｛ｓ［４］，ｓ［５］｝ → Ｇ’［１］＝｛ｓ’［１］，ｓ’［２］，ｓ’［３］｝Ｇ’［２］＝｛ｓ’［４］，ｓ’［５］｝ここで、ｓ’［ｉ］は、ｓ［ｉ］の内部データ（点列座
標など）が変更された筆跡データである。

【００５８】また、ステップＳ８においては、図３の実
施例の場合、修正後の文字セグメンテーションに対応す
る筆跡｛ｓ［１］，ｓ［２］｝に対する認識結果Ｒ’
［１］が、Ｒ’［１］＝｛’い’｝となる。

【００５９】さらに、ステップＳ９においては、図３の
実施例の場合、文字認識結果Ｒ［ｉ］および文字セグメ
ンテーション結果Ｇ［ｉ］が、次のようになっていた。Ｒ［１］＝｛’し’｝Ｒ［１］＝｛ｓ［１］｝Ｒ［２］＝｛’１’｝Ｒ［２］＝｛ｓ［２］｝Ｒ［３］＝｛’し’｝Ｒ［３］＝｛ｓ［３］｝Ｒ［４］＝｛’い’｝Ｒ［４］＝｛ｓ［４］，ｓ［５］｝

【００６０】これが、Ｒ’［１］＝｛’い’｝，Ｇ’
［１］＝｛ｓ［１］，ｓ［２］｝で置き換えられること
になる。つまり、次のようにする。Ｒ［１］，Ｒ［２］→Ｒ’［１］Ｇ［１］，Ｇ［２］→Ｇ’［１］Ｒ［３］→Ｒ［２］Ｇ［３］→Ｇ［２］Ｒ［４］→Ｒ［３］Ｇ［３］→Ｇ［２］

【００６１】次に、図２のステップＳ７における修正指
示に合致する文字セグメンテーションを持つ手書き筆跡
生成のより詳細な処理について、図１１のフローチャー
トを参照して説明する。

【００６２】最初にステップＳ２１において、修正用手
書き筆跡データベースＤＢ３に、図２のステップＳ８に
おける文字認識に必要な筆跡データが存在しない場合、
手書き筆跡データベースＤＢ１からこれを読み出し、記
憶させる。即ち、ステップＳ８における文字認識は、修
正用手書き筆跡データベースＤＢ３に記憶されているデ
ータベースをもとに実行されるため、必要な筆跡データ
は、すべてこの修正用手書き筆跡データベースＤＢ３に
用意しておく必要があるのである。

【００６３】次にステップＳ２２乃至Ｓ２９において、
図２のステップＳ３で受け取った筆跡データ（ジェスチ
ャ）が、上述した８種類の修正指示のいずれであるのか
を判定する。この８種類の修正指示のいずれでもないと
判定されたとき、ステップＳ３０に進み、エラー処理が
実行される。

【００６４】そして、ステップＳ２２乃至Ｓ２９におい
て、８種類の修正指示のいずれか１つであると判定され
たとき、それぞれ対応するステップＳ３２乃至Ｓ３９に
進み、各種類の修正指示に対応する処理が実行される。

【００６５】即ち、修正指示が、ステップＳ２２で筆跡
範囲拡大指示であると判定されたとき、ステップＳ３２
において、筆跡範囲拡大処理が実行される。ステップＳ
２３で筆跡範囲縮小指示であると判定されたとき、ステ
ップＳ３３において、筆跡範囲縮小処理が実行される。
ステップＳ２４で筆跡部分消去指示であると判定された
とき、ステップＳ３４において、筆跡部分消去処理が実
行される。

【００６６】ステップＳ２５で筆跡の部分集合の位置移
動指示であると判定されたとき、ステップＳ３５におい
て、部分筆跡位置移動処理が実行される。ステップＳ２
６で筆跡の部分集合のサイズ拡大指示であると判定され
たとき、ステップＳ３６において、部分筆跡サイズ拡大
処理が実行される。ステップＳ２７で筆跡の部分集合の
サイズ縮小指示であると判定されたとき、ステップＳ３
７において、部分筆跡サイズ縮小処理が実行される。

【００６７】さらに、ステップＳ２８で筆跡への筆跡追
加指示であると判定されたとき、ステップＳ３８におい
て、筆跡への筆跡追加処理が実行される。また、ステッ
プＳ２９で筆跡の形状変形指示であると判定されたと
き、ステップＳ３９において、筆跡の形状変形処理が実
行される。

【００６８】次にステップＳ３２乃至Ｓ３９の各処理の
詳細について、順次説明する。

【００６９】図１２は、ステップＳ３２の筆跡範囲拡大
処理の詳細を示している。最初にステップＳ５１におい
て、筆跡範囲拡大指示記号５１の外接四角形が求められ
る。次にステップＳ５２に進み、ステップＳ５１で求め
た外接四角形に全部または一部が含まれる筆跡の集合が
求められる。そしてステップＳ５３において、修正用手
書き筆跡データベースＤＢ３に、修正種別コードとし
て、範囲拡大コードと、ステップＳ５２で求めた筆跡の
開始画番号と終了画番号を出力する。

【００７０】即ち、図１３に示すように、平仮名の
「い」の第１画と第２画がそれぞれ異なる文字セグメン
テーションとして区分されている場合、この２つの文字
セグメンテーションにかかるように、範囲拡大指示記号
５１を入力すると、横方向を向いた略Ｖ字状の形状のこ
の記号の外接四角形が求められ（ステップＳ５１）、そ
の外接四角形に全部または一部が含まれる文字セグメン
テーションの筆跡データが、１つの文字セグメンテーシ
ョンとしてまとめられる（ステップＳ５２，Ｓ５３）。
これが、ステップＳ８の処理で、平仮名の「い」として
認識される。

【００７１】図１４は、ステップＳ３３の筆跡範囲縮小
処理の詳細を示している。最初にステップＳ６１におい
て、筆跡範囲縮小指示記号５２の外接四角形が求められ
る。そしてステップＳ６２において、筆跡範囲縮小指示
記号５２が存在する文字セグメンテーション内で、この
筆跡範囲縮小指示記号５２より左側に存在する筆跡が求
められ、その筆跡の開始画番号と終了画番号が修正用手
書き筆跡データベースＤＢ３に供給され、記憶される。

【００７２】さらにステップＳ６３に進み、筆跡範囲縮
小指示記号５２が存在する文字セグメンテーション内
で、この筆跡範囲縮小指示記号５２より右側に存在する
筆跡の開始画番号と終了画番号が修正用手書き筆跡デー
タベースＤＢ３に供給され、記憶される。

【００７３】例えば図１５に示すように、１つの文字セ
グメンテーション内に漢字「語」が入力されている状態
において、これを１つの文字としてではなく、２つの文
字として認識させたい場合においては、この「語」を構
成する筆跡のうち、「言」の筆跡と「吾」の筆跡の間
に、略Ｖ字状の形状の筆跡範囲縮小指示記号５２を入力
する。すると、この記号の外接四角形が求められ（ステ
ップＳ６１）、この外接四角形より左側に位置する筆跡
（「言」）と、右側に位置する筆跡（「吾」）が、それ
ぞれ個別の文字セグメンテーションとされる（ステップ
Ｓ６２，Ｓ６３）。そこで、この修正後の文字セグメン
テーションを、図２のステップＳ８で処理すれば、
「言」と「吾」がそれぞれ２つの独立した文字として認
識される。

【００７４】図１６は、ステップＳ３４の筆跡部分消去
処理の詳細を示している。最初にステップＳ７１におい
て、筆跡部分消去記号５３の外接四角形が求められる。
次にステップＳ７２において、ステップＳ７１で求めた
外接四角形に含まれる筆跡の集合が求められる。また、
ステップＳ７３においては、現在表示されている文字セ
グメンテーションから、ステップＳ７２で求めた筆跡を
除いた文字セグメンテーション情報（筆跡）が生成さ
れ、これが修正用手書き筆跡データとして、修正用手書
き筆跡データベースＤＢ３に出力され、記憶される。さ
らにステップＳ７４に進み、ステップＳ７２で求めた筆
跡（筆跡部分消去記号５３の外接四角形に含まれる筆
跡）が、修正用手書き筆跡データベースＤＢ３から消去
される。

【００７５】例えば図１７に示すように、「天」の文字
が手書き入力されている状態において、「天」の第１画
に対して、略アルファベット文字「Ｎ」の形状の筆跡部
分消去記号５３を入力すると、この筆跡部分消去記号５
３の外接四角形に含まれる第１画の筆跡が、消去対象の
筆跡として選択される（ステップＳ７１，Ｓ７２）。そ
して、この筆跡が修正用手書き筆跡データベースＤＢ３
から消去され、残りの第２画乃至第４画の筆跡からなる
文字セグメンテーションが生成される（ステップＳ７
３，Ｓ７４）。その結果、これをステップＳ８で文字認
識すると、「大」の文字としての認識結果が得られるこ
とになる。

【００７６】図１８は、ステップＳ３５における部分筆
跡位置移動処理の詳細を示している。最初にステップＳ
８１において、部分筆跡位置移動記号５４のループ部の
外接四角形が求められる。即ち、この部分筆跡位置移動
記号５４は、円形のループ部と直線状のテール部とによ
り構成され、そのうちのループ部の外接四角形が求めら
れる。次にステップＳ８２において、この外接四角形に
含まれる筆跡の集合が求められる。

【００７７】さらにステップＳ８３においては、この部
分筆跡位置移動記号５４のテール部の始点（Ｘ₀，Ｙ₀）
と終点（Ｘ₁，Ｙ₁）が求められる。次にステップＳ８４
に進み、ステップＳ８２で求めた外接四角形に含まれる
筆跡の座標値に、（Ｘ₁−Ｘ₀，Ｙ₁−Ｙ₀）を加える。即
ち、この筆跡を、部分筆跡位置移動記号５４のテール部
の方向に、その長さ分だけ移動したデータを生成する。
そして、変更した筆跡を含む文字セグメンテーションの
情報を修正用手書き筆跡データベースＤＢ３に出力す
る。

【００７８】例えば図１９に示すように、いま「土」の
文字が入力されている状態において、この「土」の第１
画の一部がループ部に含まれるように、部分筆跡位置移
動記号５４を入力すると、この部分筆跡位置移動記号５
４のループ部の外接四角形が求められ（ステップＳ８
１）、さらに、その外接四角形内の筆跡（第１画）が求
められる（ステップＳ８２）。

【００７９】そして、このテール部の始点と終点の座標
が求められ（ステップＳ８３）、このテール部の方向
に、その長さの分だけ第１画の筆跡を移動した筆跡が生
成される（ステップＳ８４）。その結果、このように、
第１画の位置が移動された筆跡の集合がステップＳ８で
文字認識されると、「工」の認識結果が得られる。

【００８０】また、例えば図２０に示すように、使用者
が「木」と「木」の２つの文字を手書き入力したとす
る。この２つの「木」の各画のうち、左側の「木」の文
字セグメンテーション１の第４画は、右側の「木」の文
字セグメンテーション２の第２画とは本来交差しないも
のである。しかしながら、使用者が、この第４画と第２
画を交差するように入力してしまったとすると、１つの
文字セグメンテーションのこの入力は、「林」として認
識される。

【００８１】そこで、これを２つの文字セグメンテーシ
ョンに分離させるように、文字セグメンテーションを分
離させた場合、分離後の文字セグメンテーションに対応
する筆跡を新たに生成しないと（図２のステップＳ７に
おける処理を行わないと）、左側の「木」の文字セグメ
ンテーション１と、右側の「木」の文字セグメンテーシ
ョン２は、それぞれ独立に認識されたとき、左側の文字
セグメンテーション１は「木」として認識されるが、右
側の文字セグメンテーション２は、左側の「木」の第４
画が第２画と交差しているため、文字「本」として誤認
識される可能性が高い。

【００８２】即ち、図２のステップＳ５において、修正
指示に合致する認識結果が存在しないと判定されたと
き、ステップＳ７に示すように、修正指示に合致する文
字セグメンテーションを持つ手書き筆跡を生成しない
と、この認識された文字「本」を本来の文字「木」と認
識させることは、再度入力を行わない限り困難になる。

【００８３】しかしながら、本実施例においては、図２
１に示すように、例えば左側の「木」を構成する第１画
乃至第４画をループ部に含め、そのテール部で左側に移
動するように、部分筆跡位置移動記号５４を入力する
と、左側の「木」の第４画と、右側の「木」の第２画の
交差が解除されるため、文字セグメンテーション２にお
いても、文字「木」を認識することが容易となる。

【００８４】図２２は、図１１のステップＳ３６の部分
筆跡サイズ拡大処理の詳細を示している。最初にステッ
プＳ９１において、方形ループ部と、この方形ループの
外側に突出するテール部とより構成される部分筆跡拡大
指示記号５５の方形ループ部の外接四角形が求められ
る。そしてステップＳ９２において、この外接四角形に
含まれる筆跡の集合が求められる。次にステップＳ９３
に進み、部分筆跡拡大指示記号５５のテール部の左下の
点（Ｘ₀，Ｙ₀）と、右上の点（Ｘ₁，Ｙ₁）の座標が求め
られる。

【００８５】さらにステップＳ９４に進み、ステップＳ
９１で求められた方形ループ部の外接四角形の左下の頂
点（Ｘ₂，Ｙ₂）と右上の頂点（Ｘ₃，Ｙ₃）の座標値が求
められる。そしてステップＳ９５に進み、ステップＳ９
２で求めた筆跡（部分筆跡拡大指示記号５５の方形ルー
プ部の外接四角形に含まれる筆跡）の座標値が次式に従
って演算され、修正後の筆跡データとされる。

【００８６】

【数１】

【００８７】ここで、ｘ’，ｙ’は、修正後の筆跡のデ
ータであり、（ｘ，ｙ）は、修正前のデータである。

【００８８】この演算式から判るように、この部分筆跡
拡大指示記号５５のテール部の方向を４５度に設定すれ
ば、もとの筆跡の垂直方向と水平方向の比は変化せずに
筆跡が拡大されるが、４５度以外の方向に設定すると、
その比が変化して、拡大されることになる。

【００８９】例えば図２３に示すように、平仮名「ぃ」
が小文字として認識されている場合、部分筆跡拡大指示
記号５５を、その方形ループ部で文字「ぃ」を囲むよう
に入力すると、この方形ループ部内に含まれる筆跡とし
て、「ぃ」が選択され（ステップＳ９１，Ｓ９２）、そ
して、この文字「ぃ」（小文字）が上記した式に従っ
て、座標変化される（ステップＳ９４，Ｓ９５）。従っ
て、これをステップＳ８で文字認識すると、「い」（大
文字）として認識される。

【００９０】図２４は、図１１のステップＳ３７の部分
筆跡サイズ縮小処理の詳細を示している。最初にステッ
プＳ１０１において、方形ループ部と、この方形ループ
部の内側に突出するテール部とにより構成される部分筆
跡縮小指示記号５６の方形ループ部の外接四角形が求め
られる。次にステップＳ１０２において、この外接四角
形に含まれる筆跡の集合が求められる。そしてステップ
Ｓ１０３においては、この部分筆跡縮小指示記号５６の
テール部の左下の点（Ｘ₀，Ｙ₀）と、右上の点（Ｘ₁，
Ｙ₁）の座標が求められる。

【００９１】さらにステップＳ１０４に進み、ステップ
Ｓ１０１で求めた外接四角形（方形ループ部の外接四角
形）の左下の頂点（Ｘ₂，Ｙ₂）と右上の頂点（Ｘ₃，
Ｙ₃）の座標値が求められる。次にステップＳ１０５に
進み、ステップＳ１０２で求めた筆跡（外接四角形に含
まれる筆跡）の座標値が、次の式に従って、修正用筆跡
データとして変換される。尚、この式は、上述した数１
の式と同一であるが、座標値Ｘ₂とＸ₃、Ｙ₂とＹ₃の大き
さが、数１の場合と異なるため、筆跡を縮小する演算と
なる。

【００９２】

【数２】

【００９３】例えば図２５に示すように、「２カ所」の
文字のうち、カタカナの「カ」が大文字として認識され
ている場合、部分筆跡縮小指示記号５６を、その方形ル
ープ部で文字「カ」を囲むように入力すると、この方形
ループ部に含まれる筆跡として「カ」が選択され（ステ
ップＳ１０１，Ｓ１０２）、その座標値が上記した式に
従って変換される（ステップＳ１０３，Ｓ１０４，Ｓ１
０５）。従って、この変換されたデータをステップＳ８
で文字認識すると、「ヵ」が得られる。

【００９４】図２６は、図１１のステップＳ３８の筆跡
への筆跡追加処理の詳細を示している。最初にステップ
Ｓ１１１において、追加指示筆跡５７が存在している文
字セグメンテーションが求められる。次にステップＳ１
１２に進み、ステップＳ１１１で求めた文字セグメンテ
ーションに対応する修正用手書き筆跡データベースＤＢ
３中の筆跡の最後に、追加指示筆跡が追加される。そし
てステップＳ１１３においては、ステップＳ１１２で筆
跡データを付加した文字セグメンテーションに対応する
開始画番号と終了画番号が、修正用手書き筆跡データベ
ースＤＢ３に供給され、記憶される。

【００９５】例えば図２７に示すように、文字「大」が
入力され、認識されている状態において、この文字
「大」の第１画の右上に追加指示筆跡５７を追加する
と、この筆跡が「大」を構成する３個の画に付加され
（ステップＳ１１１，Ｓ１１２）、合計４個の画により
構成される文字とされる。その結果、これがステップＳ
８で文字認識処理されると、「犬」が認識結果として得
られることになる。

【００９６】図２８は、図１１のステップＳ３９の筆跡
の形状変形処理の詳細を示している。最初にステップＳ
１２１において、入力された変形指示筆跡５８と結合す
る筆跡が求められる。次にステップＳ１２２に進み、ス
テップＳ１２１で求めた筆跡に対応する修正用手書き筆
跡データベースＤＢ３内の座標点列データに、入力され
た変形指示筆跡の座標点列データを結合させ、これを修
正用手書き筆跡データベースＤＢ３に供給する。

【００９７】例えば図２９に示すように、アルファベッ
ト文字「Ｔ」が入力、表示された状態において、その第
１画の右端部に、右下に折曲がる変形指示筆跡５８を付
加すると、結合追加する筆跡として、第１画が選択され
る（ステップＳ１２１）。そして、この第１画の点列デ
ータに、変形指示筆跡５８の点列データが付加される
（ステップＳ１２２）。その結果、この付加されたデー
タをステップＳ８で文字認識処理すると、カタカナ
「ア」が得られる。

【００９８】図３０は、修正用手書き筆跡データベース
ＤＢ３のフォーマットの構成例を示している。同図に示
すように、最初に各画に対応するデータが順次配置され
ている。これらの各画のデータの先頭には、その画の画
番号が、その次には、その画を構成する座標点の数ｎ
が、そしてその次には、その画を構成する各点の座標値
（ｘ₀，ｙ₀），（ｘ₁，ｙ₁），・・・，（ｘ_n-1，
ｙ_n-1）が順次配置される。そして、これらの各画デー
タの最後に、筆跡データ部終了記号が配置される。

【００９９】この筆跡データ部終了記号の次には、修正
種別コードと、再認識すべき文字セグメンテーションの
数が配置される。修正種別コードは、上述した８種類の
修正処理のいずれであるかを識別するコードである。そ
して再認識すべき文字セグメンテーションの数の次に
は、再認識すべき文字セグメンテーションの開始画番号
と終了画番号が順次配置されている。そして、一番最後
に、ファイル終了記号が配置されている。

【０１００】以上においては、文字を処理するようにし
たが、本発明は、図形を処理する場合にも適用すること
が可能である。図３１乃至図３８は、この場合の実施例
を表している。尚、この図３１乃至図３８は、上述した
８種類の文字の修正の場合における図３乃至図１０の各
実施例にそれぞれ対応している。

【０１０１】図３１の実施例においては、同図（ａ）に
示すように、３つの図形と、それらを結ぶ直線が入力さ
れており、これに対して、同図（ｂ）に示すように、図
形セグメンテーションは６個に区分されている。そこ
で、同図（ｃ）に示すように、筆跡範囲拡大指示記号５
１を、最初に２つの図形セグメンテーションを横切るよ
うに入力すると、同図（ｄ）に示すように、これらの２
つの図形セグメンテーションが１つのセグメンテーショ
ンに変更され、それまで別個の図形セグメンテーション
内に配置されていた筆跡が、１つのセグメンテーション
内の筆跡として処理される。その結果、正しい認識結果
（この実施例の場合、四角形）が得られる。

【０１０２】図３２の実施例においては、同図（ａ）に
示すように、図３１における場合と同様に、３つの図形
と、これを連絡する線分が入力されており、これらが同
図（ｂ）に示すように認識されている。この実施例にお
いては、最初の四角形と、次の水平方向の線分とが、１
つの図形セグメンテーション内の図形として認識されて
いる。そこで、同図（ｃ）に示すように、筆跡範囲縮小
指示記号５２を入力すると、同図（ｄ）に示すように、
筆跡範囲縮小指示記号（ジェスチャ）５２の左右に配置
されていた筆跡が、それぞれ別個の図形セグメンテーシ
ョンの図形として処理される。

【０１０３】図３３においては、同図（ａ）に示すよう
に、３つの図形と、それらを結ぶ水平方向の線分が入力
されており、それらが同図（ｂ）に示すように認識され
ている。これらの図形のうち、一番右側の図形は、左側
の円弧状の線分が二重に入力されているため、その一方
を消去すべく、同図（ｃ）に示すように、筆跡部分消去
記号５３を入力すると、この筆跡部分消去記号５３に対
応する線分が、同図（ｄ）に示すように消去される。

【０１０４】図３４の実施例においては、同図（ａ）に
示すように、略四角形の図形と、その図形の略中央から
下の方向に向かって伸びる１本の直線とが入力されてい
る。そして、その図形は、同図（ｂ）に示すように、四
角形と直線の組み合わされた図形として認識されてい
る。そこで同図（ｃ）に示すように、部分筆跡位置移動
記号５４を、そのループ部内に直線の一部が含まれるよ
うにし、なおかつ、テール部を上方に向けて所定の長さ
だけ入力すると、同図（ｄ）に示すように、この直線が
四角形を略２つに分割する位置に移動される。

【０１０５】図３５の実施例においては、同図（ａ）に
示すように、四角形と三角形の間に矢印が入力されてい
る。そして同図（ｂ）に示すように、これらの図形のう
ち、三角形の図形が、小さい三角形として認識されてい
る。この状態において、同図（ｃ）に示すように、この
三角形をその方形ループ内に含み、所定長のテール部を
外側に突出するように、部分筆跡拡大指示記号５５を入
力すると、同図（ｄ）に示すように、この三角形がより
大きい三角形に修正される。

【０１０６】図３６の実施例においては、同図（ａ）に
示すように、円と四角形の間に矢印が入力されている。
そして同図（ｂ）に示すように、円は四角形に対して大
きい形状として認識されている。そこで、同図（ｃ）に
示すように、その方形ループ内に円を含み、テール部が
内側に突出するように、部分筆跡縮小指示記号５６を入
力すると、同図（ｄ）に示すように、この円が縮小され
る。

【０１０７】図３７の実施例においては、同図（ａ）に
示すように、３つの図形と、これらを結ぶ線分が入力さ
れ、それらが同図（ｂ）に示すように、６個の図形セグ
メンテーションとして認識されている。そこで同図
（ｃ）に示すように、例えば最も左側の四角形の図形の
対角線を結ぶように、追加筆跡５７を入力すると、同図
（ｄ）に示すように、この四角形に対角線が追加された
形状が認識される。

【０１０８】図３８の実施例においては、同図（ａ）に
示すように、円の左側部分の一部の線が欠落した図形が
入力され、これが同図（ｂ）に示すように、円弧として
認識されている。そこで同図（ｃ）に示すように、円の
欠落している部分を連絡するように、形状変形記号５８
を入力すると、同図（ｄ）に示すように、円弧ではな
く、円として図形が認識される。

【０１０９】以上、本発明を文字と図形を処理する場合
を例として説明したが、本発明は、この他、任意の形状
を処理する場合に適用することが可能である。

【０１１０】

【発明の効果】以上の如く本発明の手書き入力表示方法
および手書き入力表示装置によれば、意図する認識結果
が得られない場合、修正を指示し、修正指示に合致する
セグメンテーションを有する筆跡を生成するようにした
ので、正しい認識結果が得られなかった場合に、再入力
することなく、所望の認識結果を確実に得ることが可能
となる。

【図面の簡単な説明】

【図１】本発明の手書き入力表示方法を応用した装置の
一実施例の構成を示すブロック図である。

【図２】図１の実施例の動作を説明するフローチャート
である。

【図３】文字セグメンテーション内の筆跡範囲の拡大を
説明する図である。

【図４】文字セグメンテーション内の筆跡範囲の縮小を
説明する図である。

【図５】文字セグメンテーション内の筆跡の部分消去を
説明する図である。

【図６】文字セグメンテーション内の筆跡の部分集合の
位置移動を説明する図である。

【図７】文字セグメンテーション内の筆跡の部分集合の
大きさ拡大を説明する図である。

【図８】文字セグメンテーション内の筆跡の部分集合の
大きさ縮小を説明する図である。

【図９】文字セグメンテーション内の筆跡への筆跡追加
を説明する図である。

【図１０】文字セグメンテーション内の筆跡の部分集合
の形状変形を説明する図である。

【図１１】図２のステップＳ７のより詳細な処理を説明
するフローチャートである。

【図１２】図１１のステップＳ３２のより詳細な処理を
説明するフローチャートである。

【図１３】図１２の処理を説明する図である。

【図１４】図１１のステップＳ３３のより詳細な処理を
説明するフローチャートである。

【図１５】図１４の処理を説明する図である。

【図１６】図１１のステップＳ３４のより詳細な処理を
説明するフローチャートである。

【図１７】図１６の処理を説明する図である。

【図１８】図１１のステップＳ３５のより詳細な処理を
説明するフローチャートである。

【図１９】図１８の処理を説明する図である。

【図２０】図１１のステップＳ３５の処理を説明する他
の図である。

【図２１】図３５の処理を説明するさらに他の図であ
る。

【図２２】図１１のステップＳ３６のより詳細な処理を
説明するフローチャートである。

【図２３】図２２の処理を説明する図である。

【図２４】図１１のステップＳ３７のより詳細な処理を
説明するフローチャートである。

【図２５】図２４の処理を説明する図である。

【図２６】図１１のステップＳ３８のより詳細な処理を
説明するフローチャートである。

【図２７】図２６の処理を説明する図である。

【図２８】図１１のステップＳ３９のより詳細な処理を
説明するフローチャートである。

【図２９】図２８の処理を説明する図である。

【図３０】修正用手書き筆跡データベースのフォーマッ
トを説明する図である。

【図３１】図形の筆跡範囲拡大処理を説明する図であ
る。

【図３２】図形の筆跡範囲縮小処理を説明する図であ
る。

【図３３】図形の筆跡部分消去処理を説明する図であ
る。

【図３４】図形の部分筆跡位置移動処理を説明する図で
ある。

【図３５】図形の部分筆跡サイズ拡大処理を説明する図
である。

【図３６】図形の部分筆跡サイズ縮小処理を説明する図
である。

【図３７】図形の筆跡への筆跡追加処理を説明する図で
ある。

【図３８】図形の筆跡の形状変形処理を説明する図であ
る。

【図３９】従来の文字入力方法を説明する図である。

【符号の説明】

１ＣＰＵ２ＲＯＭ３ＲＡＭ８バスライン１１ディスプレイコントローラ１２Ｖ−ＲＡＭ１３ディスプレイ部１４タブレットインタフェース１５入力タブレット１６ペン

フロントページの続き (56)参考文献特開平４−336688（ＪＰ，Ａ) 特開平１−237882（ＪＰ，Ａ) 特開平７−37039（ＪＰ，Ａ) 特開平５−182029（ＪＰ，Ａ) 特開平６−4207（ＪＰ，Ａ) 特開平６−242882（ＪＰ，Ａ) 特開昭59−2189（ＪＰ，Ａ) 特開昭60−75980（ＪＰ，Ａ) 特開昭63−78275（ＪＰ，Ａ) 特開昭61−107468（ＪＰ，Ａ) ＩＩ．携帯性も追求したペン入力用新ＯＳ：ＰｅｎＰｏｉｎｔ，ＮＩＫＫＥＩＢＹＴＥ，日本，1991年４月，ｐｐ. 236−249 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82 G06F 3/03

Claims

(57)【特許請求の範囲】

【請求項１】ユーザによる手書き入力を受ける入力部
と、情報を記録する記憶部と、情報を表示する表示部とを備えた手書き入力表示装置の
手書き入力表示方法において、前記ユーザによる、前記入力部への筆跡の手書き入力を
制御する入力制御ステップと、前記入力制御ステップの処理により入力が制御された前
記筆跡の前記記憶部への記憶を制御する筆跡記憶制御ス
テップと、前記筆跡記憶制御ステップの処理により記憶が制御され
た前記筆跡をセグメンテーションに区分して、文字認識
を行い、認識結果を得る第１の認識ステップと、前記筆跡記憶制御ステップの処理により記憶が制御され
た前記筆跡と、前記第１の認識ステップの処理により得
られた認識結果のうちの第１の認識結果を表示させるよ
うに制御する第１の表示制御ステップと、前記入力制御ステップの処理により新たに入力された筆
跡が、前記セグメンテーションの修正指示であるか否か
を判定する第１の判定ステップと、前記第１の判定ステップの処理により、前記セグメンテ
ーションの修正指示が入力されたと判定された場合、前
記第１の認識ステップの処理により得られた認識結果
に、前記修正指示により修正された前記セグメンテーシ
ョンに対応する第２の認識結果が含まれているか否かを
判定する第２の判定ステップと、前記第２の判定ステップの処理により、前記修正指示に
より修正された前記セグメンテーションに対応する第２
の認識結果が含まれていると判定された場合、前記第２
の認識結果を表示させるように制御する第２の表示制御
ステップと、前記第２の判定ステップの処理により、前記修正指示に
より修正された前記セグメンテーションに対応する第２
の認識結果が含まれていないと判定された場合、前記筆
跡記憶制御ステップの処理により記憶されている前記筆
跡のうち、前記修正指示に基づいた前記セグメンテーシ
ョンに対応する部分に対して、新たに文字認識を行い、
第３の認識結果を得る第２の認識ステップと、前記第２の認識ステップの処理により認識された前記第
３の認識結果を表示させるように制御する第３の表示制
御ステップとを含むことを特徴とする手書き入力表示方
法。
【請求項２】前記セグメンテーションの前記修正指示
は、ジェスチャにより行われることを特徴とする請求項
１に記載の手書き入力表示方法。
【請求項３】前記セグメンテーションの前記修正指示
は、入力された前記筆跡の拡大、縮小、削除、移動、ま
たは変形のいずれかの指示であることを特徴とする請求
項１または２に記載の手書き入力表示方法。
【請求項４】筆跡の手書き入力を受ける入力手段と、前記入力手段により入力された前記筆跡を記憶する筆跡
記憶手段と、前記筆跡記憶手段により記憶された前記筆跡をセグメン
テーションに区分して、文字認識を行い、認識結果を得
る認識手段と、前記筆跡記憶手段により記憶された前記筆跡と、前記認
識手段により得られた認識結果のうちの第１の認識結果
を表示する表示手段と、前記入力手段により新たに入力された筆跡が、前記セグ
メンテーションの修正指示であるか否かを判定する第１
の判定手段と、前記第１の判定手段により、前記セグメンテーションの
修正指示が入力されたと判定された場合、前記認識手段
により得られた前記認識結果に、前記修正指示により修
正された前記セグメンテーションに対応する第２の認識
結果が含まれているか否かを判定する第２の判定手段と
を備え、前記第２の判定手段により、前記修正指示により修正さ
れた前記セグメンテーションに対応する第２の認識結果
が含まれていると判定された場合、前記表示手段は、前
記第２の認識結果を更に表示し、前記第２の判定手段により、前記修正指示により修正さ
れた前記セグメンテーションに対応する第２の認識結果
が含まれていないと判定された場合、前記認識手段は、前記筆跡記憶手段により記憶されてい
る前記筆跡のうち、前記修正指示に基づいた前記セグメンテーションに対応
する部分に対して、新たに文字認識を行って、第３の認
識結果を得、前記表示手段は、前記認識手段により認識された前記第
３の認識結果を更に表示することを特徴とする手書き入
力表示装置。