JP3855696B2

JP3855696B2 - Handwritten character input device and program for realizing the same

Info

Publication number: JP3855696B2
Application number: JP2001226518A
Authority: JP
Inventors: 宏田中; 勝彦秋山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2001-07-26
Filing date: 2001-07-26
Publication date: 2006-12-13
Anticipated expiration: 2021-07-26
Also published as: JP2003044214A

Description

【０００１】
【発明の属する技術分野】
本発明は、画面上の任意の位置に、スタイラスペン等を用いて手書き文字を入力し、その手書き文字を認識し、文字コードに変換してテキスト入力を行う手書き文字入力装置及びそれを実現するコンピュータプログラムに関する。特に、画面の小さい携帯用の手書き文字入力装置及びそれを実現するコンピュータプログラムに関する。
【０００２】
【従来の技術】
一般に、手書き文字入力装置は、入力・表示出来る透明タブレットにスタイラスペンを用いて手書き入力したり、パーソナルコンピュータのディスプレイにマウス等のポインティングデバイスや通常のペンタブレット等を用いて手書き入力している。
【０００３】
従来の手書き文字入力装置の手書き文字入力領域と認識結果の表示領域の関係には、大別して次の３つのパターンがある。
【０００４】
まず、第１のパターンは、手書き文字を入力する領域と認識結果の文字が表示される領域が別個の領域となっているパターンである。第２のパターンは、手書き文字を入力する領域と認識結果の文字が表示される領域が同一の領域になっているパターンである。第３のパターンは、手書き文字を入力可能な領域が画面全体で、入力した手書き文字を認識した結果の文字が事前に指定しておいたテキスト入力領域に入力されて表示されるパターンである。
【０００５】
第１のパターンの手書き文字認識装置の場合、手書き文字入力領域とその認識結果を入力・表示するテキスト入力領域とが別個に異なる領域に存在するため、手書き文字入力領域がテキスト入力領域の上に重なる場合がある。特に、携帯型手書き文字入力装置の場合は、画面が小さいため、その傾向が顕著であり、入力したテキストが手書き文字入力領域の下になって見えないという問題があった。
【０００６】
次に、第２のパターンの手書き文字入力装置の場合、手書き文字入力領域とテキスト入力領域が同じ領域なので、手書き文字を１文字入力するためには最低でも１ｃｍ四方程度の広さが必要であり、手書き文字入力装置が携帯端末の場合、画面が小さいため、多くの文字を入力可能なテキスト入力領域をとるのが難しく、画面デザイン上大きな制約となっているという問題があった。
【０００７】
次に、第３のパターンの手書き文字認識装置の場合、従来は、プログラムの起動・終了・テキスト入力領域の指定等を行うコマンドモードと手書き入力を可能な状態にする手書き入力モードを持ち、手書き文字を入力するには、まず、入力するテキスト入力領域を指定してから手書き入力モードに移行し、手書き入力する必要があった。そのため、１つのテキスト入力領域の入力が終わる度に、コマンドモードに戻って、次に入力するテキスト入力領域を指定し、手書き入力モードにして、手書き入力することを繰り返す必要があり、入力するテキスト入力領域が変わる度に、モードの切り換えやテキスト入力領域の指定を行うのが非常に面倒であるという問題があった。
【０００８】
また、特開平７−６５１１４号公報に開示されている情報処理装置には、画面上に手書き入力された文字の第１ストロークの開始座標点に認識した文字を表示することが開示されている。しかし、これは、文字の表示位置を表すだけで、画面全体がテキスト入力領域である場合の手書き文字入力方法であり、テキスト入力領域が画面の一部である場合に、テキスト入力領域を選択する方法を開示していない。
【０００９】
【発明が解決しようとする課題】
このように、従来の方法では、いずれの方法を用いても様々な問題点があり、利用者が手書き文字を入力しやすいように、画面全体を手書き文字入力領域にすると、テキスト入力領域が画面の一部の場合や画面上に複数のテキスト入力領域がある場合は、認識した文字をどのテキスト入力領域に転送すべきか特定出来ないという問題があった。
【００１０】
今日のようにコンピュータの高性能化・小型化・低価格化が進み、携帯型端末が普及してくると、携帯型端末のように画面が小さく、テキスト入力領域と手書き文字入力領域を分けるのが困難な場合には、手書き文字入力領域を画面全体とすることが有効だが、画面上のテキスト入力領域が画面の一部である場合や画面上にテキスト入力領域が複数ある場合は、いちいち手書き入力モードとコマンドモードを切り換えて認識した文字を入力すべきテキスト入力領域を指定してから手書き文字を入力する必要があるため操作が面倒であり、モード切り換えを行うことなく、入力すべきテキスト入力領域を簡単に指定して手書き文字領域を画面全体とすることが求められている。
【００１１】
本発明は、画面デザイン上の制約が少なく、手書き文字の入力に際しては、モード切り換えを行うことなく、簡単にテキスト入力領域を指定しながら手書き文字の入力を行うことを目的としている。
【００１２】
【課題を解決するための手段】
簡単に述べると本発明は、画面全体を手書き文字入力領域とし、１または複数のテキスト入力領域が画面上に含まれている場合に、手書き入力したストローク情報の所定の座標点を基に入力すべきテキスト入力領域を自動選択し、選択されたテキスト入力領域に認識した文字を入力して表示することが出来るようにするものである。
【００１３】
即ち、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置は、画面を表示する画面表示部と、手書き文字を入力して、ストローク情報に変換する文字入力部と、前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識する文字認識部と、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するテキスト入力領域判定部と、前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部と、前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じる認識文字表示部を具備することを特徴とする。
【００１４】
かかる構成により、本発明の手書き文字入力装置は、画面デザイン上の制約が少なく、しかも、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要がなく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【００１５】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、前記テキスト入力領域判定部が、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、前記重なる座標点を持つテキスト入力領域に認識した文字の送出が可能か否か判定することによって、手書き文字入力可能なテキスト入力領域で最初に重なる座標点を持つテキスト入力領域を、前記認識した文字を入力すべきテキスト入力領域として自動的に選択することを特徴とする。
【００１６】
かかる構成により、本発明の手書き文字入力装置は、手書き入力した文字を認識し、認識した文字を選択されたテキスト入力領域に送出し、送出した文字が適正に読み込めるかどうかを判定することが出来る。
【００１７】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、前記認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする。
【００１８】
かかる構成により、本発明の手書き文字入力装置は、マウスカーソルの形状を判定するためのＧｅｔＣｕｒｓｏｒ（）関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうかを判定することが出来る。
【００１９】
また、本発明にかかる画面上の任意の位置に手書き入力した文字を認識して入力出来る手書き文字入力装置は、更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、直前に送出した認識文字を削除し、手書き文字のストローク情報を復元する認識結果取消ボタンを備えることを特徴とする。
【００２０】
かかる構成により、本発明の手書き文字入力装置は、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【００２１】
また、画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませてコンピュータ上で稼働する本発明にかかるプログラムは、画面を表示するステップと、手書き文字を入力して、ストローク情報に変換するステップと、前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識するステップと、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するステップと、前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示するステップと、前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるステップと、前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じるステップを含むことを特徴とする。
【００２２】
かかる構成のプログラムをコンピュータに読み込ませて実行することにより、画面上の任意の位置に手書きした文字を認識して入力出来る手書き文字入力装置においても、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要がなく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【００２３】
【発明の実施の形態】
（実施形態１）
本発明の基本的な構成図と処理の流れを、図１と図２のフローチャートを用いて説明する。
【００２４】
本実施の形態では、画面が透明タブレットで、画面に表示されているテキスト入力領域に対して、画面全体を手書き文字入力領域として使用出来る携帯型装置を例にとり、テキスト入力領域を判定するための所定の座標点を入力した最初の手書き文字の第１ストローク情報の最初の座標点として説明する。なお、１度に入力される手書き文字は、１文字に限定するものではなく、複数の文字を含むものとする。
【００２５】
本実施形態では透明タブレットにスタイラスペンを用いて手書き文字を入力する例をあげるが、透明タブレットのかわりに通常のパソコンのディスプレイ装置等の表示装置にマウス等のポインティングデバイスを用いて手書き入力してもよいし、入力専用のタブレットを用いて、表示装置に入力・表示してもよいし、その他の手書き入力装置を用いてもよい。透明タブレットは、入力画面と表示画面が一体となっており、画面に直接スタイラスペンを用いて手書き文字を書くと、書いた文字がそのまま表示されるものとする。
【００２６】
まず、画面表示部１は、透明タブレット６の画面にテキスト入力領域を含む画面を表示する（ステップＳ１）。透明タブレット６の画面の例を図３にあげる。画面には、メニューバーにモード切換ボタン９・終了ボタン１０と、入力画面の固定表示文字とテキスト入力領域８等が表示される。画面を表示するために、画面表示部１は、テキスト入力領域８の座標データを持っている。図３の例では、モード切換ボタン９や終了ボタン１０を画面上に表示しているため、手書き文字の最初の座標点をボタン上にすることは出来ないが、ハード的にキーを持っている端末の場合は、モード切換ボタン９や終了ボタン１０を特定のキーに割り当てるようにすれば、画面デザインの自由度はより高くなる。
【００２７】
次に、文字入力部２は、透明タブレット６の画面からスタイラスペン７を用いて入力された手書き文字を受け取り、手書き文字の入力座標点列をストローク情報として入力し、入力された通りに透明タブレットの画面上に表示する（ステップＳ２）。そして、入力された手書き文字は、文字認識部３において、文字認識辞書３−１を用いて文字認識される（ステップＳ３）。
【００２８】
手書き文字認識方法は、個々の手書き文字の認識方法として、オンライン認識方法・オフライン認識・ハイブリッド認識方法のいずれを用いてもよく、特に限定しない。また、手書き文字を入力する枠がある場合は、前記の認識方式を各枠の手書き文字に適用すればよいが、枠がない場合は、枠なし手書き文字認識方式を用いて、手書き文字を１文字づつ切りわけてから認識する必要がある。
【００２９】
手書き認識された文字をどのテキスト入力領域に送るか判定するために、テキスト入力領域判定部４は、入力された手書き文字のストロークに含まれる所定の座標データとテキスト入力領域の位置情報から計算された座標データを基に、その所定の座標点に存在するテキスト入力領域を選択する（ステップＳ４）。本実施形態では、所定の座標点を、入力された最初の手書き文字の第１ストロークの開始座標点とし、開始座標点が存在する位置にあるテキスト入力領域を入力すべきテキスト入力領域として選択する。入力された手書き文字データは、例えば、以下のような構造体に時系列の座標データ群として格納される。
【００３０】
【数１】

【００３１】
この式は、入力された手書き文字データを格納するためにＣ言語で定義した構造体であり、ｘ，ｙは手書き文字データを構成する座標点のｘ座標値、ｙ座標値を表す数字であり、ｎＰｎｔは文字の１画を構成する座標点の数、＊ｐＰｎｔはｎＰｎｔの中の何番目の座標点かを示すためのポインタ、ｎＳｔｒは入力された手書き文字全体を構成する画数、＊ｐＳｔｒはｎＳｔｒの中の何番目の画数かを示すためのポインタである。手書き文字が入力された時点では、１文字単位の区切りは分からないので、入力された全ての文字について１画（＝１ストローク）毎に画を構成する全てのｘ，ｙ座標点が、このＰＡＴＴＥＲＮという配列に手書き文字データとして格納される。
【００３２】
各座標データは、入力された手書き文字の座標を所定時間単位に取得したものであり、手書き文字は、一または複数の座標点の集合体として表される。手書き入力された文字の画面表示は、１画毎のデータを基に、当該１画を構成する座標点を結ぶ線を引くことにより行われる。手書き文字のデータを前述の構造式に格納した場合、最初の手書き文字の第１ストロークの開始座標点は、(pattern.pStr[1].pPnt[1].x,pattern.pStr[1].pPnt[1].y) と表すことが出来る。
【００３３】
具体的なテキスト入力領域の選定方法を、図３の（１）を例にとって説明すると、画面を表示する際に、画面を画面の左下を原点とするＸＹ座標で表す。図３の（１）のように画面上に「あいうえ」と手書き入力すると、入力した手書き文字は、テキスト入力領域１とテキスト入力領域２の上を通過する。最初の手書き文字の第１ストロークの開始座標点を（２５０，４１２）とし、テキスト入力１のテキスト入力領域の左上のＸＹ座標を（２３０，４２０）、右下のＸＹ座標を（６００，３８０）とした場合、開始座標点のＸ座標は２３０以上６００以下かつＹ座標は３８０以上４２０以下であることから、開始座標点がこのテキスト入力領域に存在することが判定出来る。画面上に複数のテキスト入力領域がある場合でも、各テキスト入力領域において、同様の判定を行うことにより、選択すべきテキスト入力領域を特定することが出来る。
【００３４】
テキスト入力領域の座標データは、画面表示部１で作成時の画面のテキスト入力領域の座標データを用いる。画面作成時のテキスト入力領域の座標は、文字単位の座標データの場合が多いが、その場合は、テキスト入力領域判定部４が画面のドット単位の座標データに変換して比較する。もちろん、画面表示部１が、テキスト入力領域の座標をドット単位の座標データに変換して記憶しておいてもよい。
【００３５】
認識文字表示部５は、テキスト入力領域判定部４で選択されたテキスト入力領域に文字認識部３で認識された文字を転送して表示する（ステップＳ６）。通常、この時点で手書き文字の表示は消される。図３の（１）の例では、手書き入力した「あいうえ」の最初の文字の第１ストロークの最初の開始座標点は、テキスト入力１のテキスト入力領域にあるので、図３の（２）のように認識された「あいうえ」という文字の文字コードがテキスト入力１のテキスト入力領域に表示される。
【００３６】
本実施形態では、最初の手書き文字の第１ストロークの開始座標点に存在するテキスト入力領域を、入力領域として自動選択したが、これ以外の方法として、筆記した文字列全体の重心位置にあるテキスト入力領域を選択するようにする場合が考えられる。この場合、重心位置は、以下の式で求められる。
【００３７】
【数２】

【００３８】
上記の式のｐｘ，ｐｙは、それぞれ、筆記した文字列全体の重心位置のｘ座標，ｙ座標を表す。ｉは入力した手書き文字列全体の何番目のストロークかを示し、ｊは各ストロークの何番目の座標点かを示す。
【００３９】
また、それ以外の実施形態としては、入力された手書き文字の座標が、最初にテキスト入力領域の座標と重なった場合、そのテキスト入力領域を選択するようにすることも出来る。この場合、入力された手書き文字データの各座標を最初から順番に、テキスト入力領域の座標に含まれるかチェックすればよい。
【００４０】
かかる構成により、画面上の任意の位置に手書きした文字又を認識して入力出来る手書き文字入力装置において、画面デザイン上の自由度が高く、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる所定の座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させることが可能となる。
【００４１】
（実施形態２）
実施形態１において、テキスト入力領域の位置情報に基づいて、入力すべきテキスト入力領域を選択する方法について述べた。本実施形態では、テキスト入力領域判定部４において、選択されたテキスト入力領域に認識した文字を転送し、実際に当該テキスト入力領域に転送した文字が読み込まれるかどうかを判定することにより、指定された領域が本当に手書き文字入力に対応したテキスト入力領域か否かを判定する方法について説明する。実施形態１とは、テキスト入力領域判定部４の内部処理のみ異なるため、実施形態１の構成図を用いて説明する。
【００４２】
本実施形態の特徴は、所定の座標点にある画面上の領域に認識した文字を送出し、実際に、その領域に送出した文字が正常に読み込まれるか否かを判定する点にある。つまり、正常に送出した文字がその領域に読み込まれると、その領域はテキスト入力領域であり、読み込まれないと、その領域はテキスト入力領域ではないと見なせる。
【００４３】
テキスト入力領域は、例えば、Ｗｉｎｄｏｗｓ９５（マイクロソフト社商標）標準のＰｅｎＳｅｒｖｉｃｅのＥｄｉｔＢｏｘのようなテキスト入力部品を手書き文字入力対応として登録しておけばよい。こうすることにより、手書き入力した文字を認識した結果をその領域に送出して入力することが出来るようになる。テキスト入力領域であっても、テキスト入力部品で手書き入力対応となっておらず、キーボードから直接入力するような設定となっていれば、テキスト入力領域であっても手書き入力文字を送出するとエラーを示すリターンコードが戻ってくる。本実施形態では、この機能を用いることにより、指定された座標にある領域が手書き入力可能なテキスト入力領域か否かを判定する。以下に領域判定部１５の領域判定ロジックを図４のフロチャートを用いて説明する。
【００４４】
まず、テキスト入力領域判定部４において、手書き文字の所定の座標点にある領域に、認識した文字を実際に送出する（ステップＳ１０）。認識した文字を送出した領域から、その領域に送出した文字が正しく読み込まれたか否かを表すリターンコードを受け取る（ステップＳ１１）。そのリターンコードが正常か否か判定する（ステップＳ１２）。リターンコードが正常であれば（ステップＳ１２：正常）、指示された領域は手書き文字入力可能なテキスト入力領域であり、テキスト入力領域の判定処理を終わる。リターンコードが異常であれば（ステップＳ１２：異常）、指示された領域は手書き文字入力不可能な領域であり、エラー処理を行う（ステップＳ１３）。エラー処理の詳細は、後述の実施形態３で説明する。
【００４５】
また、選択された領域がテキスト入力領域であるか判定する他の方法として、指示された領域に認識した文字を送出せずに、テキスト入力部品に当該領域が手書き入力文字対応のテキスト入力領域として登録されているか否かを判定する方法と、手書き文字をマウスで入力する場合に、テキスト入力領域が選択された時のマウスカーソルの形状を判定する方法がある。
【００４６】
以下に、テキスト入力部品に当該領域が手書き入力文字対応のテキスト入力領域として登録されているか否かを判定する方法について、図５のフロチャートを用いて説明する。画面上の全ての領域は、テキスト入力部品において、手書き入力対応のテキスト入力領域か、キーボード入力対応のテキスト入力領域か、テキスト出力領域等の領域の種類を予め登録されているものとする。
【００４７】
まず、手書き文字の所定の座標点がある領域のハンドルを得る（ステップＳ１０ａ）。ハンドルした領域の種類を獲得する（ステップＳ１１ａ）。ハンドルした領域の種類が、手書き文字入力対応のテキスト入力領域として登録されているかどうかを判定する（ステップＳ１２ａ）。ハンドルした領域がテキスト入力領域の場合（ステップＳ１３ａ：ＹＥＳ）は、認識した文字を当該テキスト入力領域に送出して表示する。ハンドルした領域が手書き文字入力対応のテキスト入力領域でない場合（ステップＳ１３ａ：ＮＯ）は、エラー処理を行う（ステップＳ１４ａ）。指定した領域がテキスト入力領域でなかった場合のエラー処理に関しては、実施形態３において説明する。
【００４８】
次に、マウスで手書き文字を入力し、テキスト入力領域が選択された時のマウスカーソルの形状を判定する方法について説明する。例えば、携帯端末のＯＳがＷｉｎｄｏｗｓ（マイクロソフト社商標）系の場合、マウスで手書き文字を入力し、所定の座標がテキスト入力領域であるとすると、マウスカーソルはそのテキスト入力領域に移動し、マウスカーソルの形状が、通常、「Ｉ」型に変化するので、カーソルの形状を判定するためのＧｅｔＣｕｒｓｏｒ（）関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうか判定出来る。マウスカーソルがテキスト入力領域に移ると、マウスカーソル自体は、入力領域の先頭に移動するが、マウスカーソルの形状はテキスト入力領域の先頭に移動してもテキスト入力領域に合った形状に変化しているので、マウスカーソルがテキスト入力領域にあるか否かを判定することが可能である。取得されたカーソルの属性は、ＣＵＲＳＯＲＩＮＦＯ構造体で表現されており、その中の要素であるｈＣｕｒｓｏｒの値を調べることにより、カーソルの形状を調べることが出来る。マウスカーソルの形状を変更している場合は、その形状に合ったカーソルのｈＣｕｒｓｏｒの値をチェックすればよい。Ｗｉｎｄｏｗｓ３２ＡＰＩで提供されているカーソルの場合は、実行環境により適切な値を設定しておけば、ＩＤＣ＿ＩＢＥＡＭの値と同じか否かを調べることにより、マウスカーソルがテキスト入力領域にあるか否か判定出来る。
【００４９】
かかる構成により、テキスト入力領域の位置情報を保持しなくても、ＯＳのテキスト入力部品を利用して、手書き文字の所定の座標点にある領域がテキスト入力領域であるか否か自動的に容易に判定することが出来る。
【００５０】
（実施形態３）
本実施の形態では、実施形態１・２において、入力した手書き文字の所定の座標点が、画面上のテキスト入力領域に重ならなかったため、自動的にテキスト入力領域を選択出来なかった場合の例について、実施形態１をベースに説明する。本実施形態の構成図と処理の流れを、図６と図７を用いて説明する。実施形態１と同じ部分には同じ番号を付与し、説明を省略する。図８は、本実施形態の画面の例である。
【００５１】
図７のステップＳ２０〜ステップＳ２２は図２のステップＳ１〜ステップＳ３と同じであり、説明を省略する。
【００５２】
手書き文字を入力しても、手書き文字が、図８の（１）のように、画面上のテキスト入力領域に重なる部分がなく、テキスト入力領域判定部４において認識した文字を転送するテキスト入力領域が自動選択出来ない場合（ステップＳ２３：ＮＯ）は、認識文字一時表示部１２は、図８の（２）のように、別ウインドウ１４を新しく開いて、そこに認識した文字を表示する（ステップＳ２６）。ステップＳ２３は、実施形態２においては、ステップＳ１０〜Ｓ１２に相当する。
【００５３】
テキスト入力領域指示部１３は、図８の（３）のように、利用者からの入力すべきテキスト入力領域の指示を受け付ける（ステップＳ２７）。利用者からの指示を受け付けるためのコマンドモードへの切り換えは、認識文字一時表示部１２が表示されてテキスト入力領域の指示待ち状態になると、自動的に手書き入力モードからコマンドモードに切り換えが行われ、スタイラスペン７等で入力したいテキスト入力領域を指定すると、自動的に手書き入力モードに戻る。そのため、手動でモード切り換えを行う手間は不要である。また、この時指示されたテキスト入力領域の枠を太線にしたり高輝度にして、利用者に選択された領域を明示してもよい。
【００５４】
テキスト入力領域指示部１３は、この指示待ち状態で、スタイラスペンでテキスト入力領域を指示しても、コマンドモードに切り換わっているので、文字入力とは見なさず、テキスト入力領域の指定と見なし、指示された座標データを基にテキスト入力領域を判定し、認識した文字と入力すべきテキスト入力領域の指示を認識文字表示部５に渡し、図８の（４）のように、認識文字表示部５は指示されたテキスト入力領域８に認識文字を転送して表示する（ステップＳ２８）。
【００５５】
ここでは、別ウィンドウ１２に認識した文字とともにＯＫボタンとＣａｎｃｅｌボタンを表示している。この後、これで問題なければ、ＯＫボタンを押す（ステップＳ２９：ＹＥＳ）ことにより、別ウィンドウ１２を消去し（ステップＳ３１）、文字の転送をやめる場合は、Ｃａｎｃｅｌボタンを押す（ステップＳ２９：ＮＯ）ことにより、テキスト入力領域８に転送された文字を削除し（ステップＳ３０）、別ウィンドウ１２が消去される（ステップＳ３１）。実施形態２の図４のフローチャートのステップＳ１３のエラー処理は、ステップＳ２６〜Ｓ３１に相当する。
【００５６】
この方法以外にも、ＯＫボタンを設けずにスタイラスペン７で入力すべきテキスト入力領域８を指定しただけで無条件に認識した文字を転送するようにしてもよいし、ＯＫボタンが押されると転送を行い、Ｃａｎｃｅｌボタンを押すと、文字を転送せずに別ウィンドウ１２を消すようにしてもよい。
【００５７】
テキスト入力領域判定部４において認識した文字を転送するテキスト入力領域が自動選択出来る場合（ステップＳ２３：ＹＥＳ）の処理ステップＳ２４〜ステップＳ２５は、図２のステップＳ４〜ステップＳ５と同じであり、説明を省略する。
【００５８】
本実施形態では、入力した手書き文字の所定の座標が、テキスト入力領域と重ならない場合、利用者に入力すべきテキスト入力領域を指示させたが、画面上にテキスト入力領域が１つしかない場合は、利用者から指示を受けなくても、無条件にそのテキスト入力領域が指定されたと判定するようにしてもよい。また、所定の座標から最も近い距離にあるテキスト入力領域が指定されたと判定するようにしてもよい。
【００５９】
また、本実施形態では、テキスト入力領域が選択出来ない時に、別ウィンドウに認識文字を一時表示し、送出先のテキスト入力領域を選択して認識文字を送出した時点でＣａｎｃｅｌすることが出来るようにしているが、最初からテキスト入力領域が正しく選択され、認識された文字が自動送出が完了した後で、間違った文字を送出したため、直前に送出した文字をＣａｎｃｅｌしたい場合がある。このような場合に対応するため、直前に送出された文字と手書き文字のストローク情報を文字認識部３内部に保持しておく認識情報保持部（不図示）と認識結果取消ボタンを設け、間違った認識文字を送出した後に、認識結果取消ボタンを押すことにより、直前に送出した認識文字をテキスト入力領域から削除し、手書き文字のストローク情報を復元出来るようにする。認識結果取消ボタンは、画面以外にハードウェアのボタンとして設けても、画面上にソフトウェアのボタンとして設けてもよい。送出された文字と手書き文字のストローク情報は、直前の１回分のみ保持してもよいし、複数回分保持してもよい。複数回数分保持する場合は、認識結果取消ボタンを１回押す度に、１つ前の入力状態に戻る。入力した手書き文字の再表示は、行っても行わなくてもよい。これにより、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【００６０】
かかる構成により、画面上の任意の位置に手書きした文字を認識して入力出来る手書き文字入力装置において、手書き文字の所定の座標点にテキスト入力領域がない場合でも、一時的に認識した文字を別ウインドウに表示し、その後で入力すべきテキスト入力領域を指示することにより、手書き文字でテキスト入力領域の指定をミスした場合でも、手動でコマンドモードと手書きモードを切り換える必要がなく、簡単にテキスト入力領域を指定出来る。
【００６１】
（実施形態４）
次に、本発明の実施の形態にかかる手書き文字入力装置を実現するプログラムを記録した記録媒体は、図９に示す記録媒体の例のように、ＣＤ−ＲＯＭ１５−１やフロッピー（登録商標、以下同じ）ディスク１５−２等の可搬型記録媒体１５だけでなく、通信回線の先に蓄えられた他の記憶装置１６や、コンピュータのハードディスクやＲＡＭ等の記録媒体１７のいずれでも良く、本発明にかかるデータ表示装置を利用する際に、コンピュータ１８により読み込まれ、主メモリ上で実行される。
【００６２】
この記録媒体からプログラムをコンピュータにローディングすることにより、画面上の任意の位置に手書きした文字又は文字列を認識して入力出来る手書き文字入力装置においても、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる所定の座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させることが可能な手書き文字入力装置を実現出来るようになる。
【００６３】
（付記１）画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置において、
画面を表示する画面表示部と、
手書き文字を入力して、ストローク情報に変換する文字入力部と、
文字認識辞書を用いて、前記手書き文字を認識する文字認識部と、
前記手書き文字の前記ストローク情報に含まれる所定の座標点と前記画面上のテキスト入力領域の位置情報を基に、認識した文字を入力すべきテキスト入力領域を自動的に選択するテキスト入力領域判定部と、
前記選択されたテキスト入力領域に、認識した文字を転送して表示する認識文字表示部を具備することを特徴とする手書き文字入力装置。（１）
（付記２）付記１に記載の手書き文字入力装置において、
前記所定の座標点が、最初に入力された手書き文字の第一ストロークの開始座標点であることを特徴とする手書き文字入力装置。（２）
（付記３）付記１または２に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、指定された領域に認識した文字の送出が可能か否か判定することによって、認識した文字を入力すべきテキスト入力領域を自動的に選択することを特徴とする手書き文字入力装置。（３）
（付記４）付記１または２に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする手書き文字入力装置。
【００６４】
（付記５）付記１乃至４に記載の手書き文字入力装置において、
前記所定の座標点にテキスト入力領域が存在しない場合、新しくウインドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部を更に備え、
前記認識文字表示部は、前記一時表示された文字を前記指示されたテキスト入力領域に転送して表示し、前記別ウィンドウを閉じることを特徴とする手書き文字入力装置。（４）
（付記６）付記１乃至５に記載の手書き文字入力装置において、
更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、
直前に送出した認識文字を削除し、手書き文字のストローク情報情報を復元する認識結果取消ボタンを備えることを特徴とする手書き文字入力装置。
【００６５】
（付記７）画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませて稼働するプログラムであって、
画面を表示するステップと、
手書き文字を入力して、ストローク情報に変換するステップと、
文字認識辞書を用いて、前記手書き文字を認識するステップと、
前記手書き文字の前記ストローク情報に含まれる所定の座標点と前記画面上のテキスト入力領域の位置情報を基に、認識した文字を入力すべきテキスト入力領域を自動的に選択するステップと、
前記選択されたテキスト入力領域に、認識した文字を転送して表示するステップを含むことを特徴とするプログラム。（５）
【００６６】
【発明の効果】
本発明の手書き文字入力装置によれば、画面デザイン上の自由度が高く、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能となる。
【００６７】
また、本発明の手書き文字入力装置によれば、手書き入力した文字を認識し、認識した文字を選択されたテキスト入力領域に送出し、送出した文字が適正に読み込めるかどうかを判定することが出来る。
【００６８】
また、本発明の手書き文字入力装置によれば、マウスカーソルの形状を判定するためのＧｅｔＣｕｒｓｏｒ（）関数のカーソルのハンドルを取得し、カーソルの属性を調べることにより、テキスト入力領域かどうかを判定することが可能となる。
【００６９】
また、本発明の手書き文字入力装置によれば、認識文字を送出した後でも、直前に送出した認識文字をクリアし、再度、認識結果である文字候補から選択のやり直しや取消が可能となる。
【００７０】
この記録媒体からプログラムをコンピュータにローディングすることにより、テキスト入力領域毎に手書き入力モードとコマンドモードを切り換える必要なく、画面上で入力された手書き文字のストローク情報に含まれる座標点で、最初にテキスト入力領域と重なる座標点に存在しているテキスト入力領域を入力すべきテキスト入力領域として自動的に選択して、認識した文字を転送して表示させ、テキスト入力領域と座標点が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合は、新しいウィンドウに認識した文字を一時表示し、入力すべきテキスト入力領域を指示することが可能な手書き文字入力装置を実現出来るようになる。
【図面の簡単な説明】
【図１】本発明の実施形態１の構成図
【図２】本発明の実施形態１の処理の流れを示すフローチャート
【図３】透明タブレットの画面の例１
【図４】本発明の実施形態２のテキスト入力領域判定部の処理の流れを示すフローチャート１
【図５】本発明の実施形態２のテキスト入力領域判定部の処理の流れを示すフローチャート２
【図６】本発明の実施形態３の構成図
【図７】本発明の実施形態３の処理の流れを示すフローチャート
【図８】透明タブレットの画面の例２
【図９】記録媒体の例示図
【符号の説明】
１画面表示部
２文字入力部
３文字認識部
３−１文字認識辞書
４テキスト入力領域判定部
５認識文字表示部
６透明タブレット
７スタイラスペン
８テキスト入力領域
９モード切換ボタン
１０終了ボタン
１１テキスト入力画面
１２認識文字一時表示部
１３テキスト入力領域指示部
１４認識文字一時表示ウィンドウ
１５ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１５−１ＣＤ−ＲＯＭ
１５−２フロッピーディスク
１６通信回線の先に蓄えられた他の記憶装置
１７コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
１８コンピュータ[0001]
BACKGROUND OF THE INVENTION
The present invention realizes a handwritten character input device that inputs a handwritten character at an arbitrary position on a screen using a stylus pen, recognizes the handwritten character, converts the character into a character code, and inputs the text. It relates to a computer program. In particular, the present invention relates to a portable handwritten character input device having a small screen and a computer program for realizing the device.
[0002]
[Prior art]
In general, a handwritten character input device performs handwriting input using a stylus pen on a transparent tablet that can be input and displayed, or handwritten input using a pointing device such as a mouse or a normal pen tablet on a display of a personal computer.
[0003]
The relationship between the handwritten character input area of the conventional handwritten character input device and the display area of the recognition result is roughly divided into the following three patterns.
[0004]
First, the first pattern is a pattern in which a region for inputting handwritten characters and a region for displaying recognition result characters are separate regions. The second pattern is a pattern in which a region for inputting handwritten characters and a region for displaying recognition result characters are the same region. The third pattern is a pattern in which an area in which handwritten characters can be input is the entire screen, and characters as a result of recognizing the input handwritten characters are input and displayed in a text input area designated in advance.
[0005]
In the case of the handwritten character recognition device of the first pattern, the handwritten character input area and the text input area for inputting and displaying the recognition result are present in different areas, so the handwritten character input area is above the text input area. May overlap. In particular, in the case of a portable handwritten character input device, since the screen is small, the tendency is remarkable, and there is a problem that the input text cannot be seen under the handwritten character input area.
[0006]
Next, in the case of the handwritten character input device of the second pattern, since the handwritten character input area and the text input area are the same area, a space of at least about 1 cm square is required to input one handwritten character. When the handwritten character input device is a portable terminal, since the screen is small, there is a problem that it is difficult to take a text input area where many characters can be input, which is a great restriction on the screen design.
[0007]
Next, in the case of the handwritten character recognition device of the third pattern, conventionally, it has a command mode for starting / ending a program, designating a text input area, and the like and a handwriting input mode for enabling handwriting input. In order to input characters, it was necessary to first specify the text input area to be input, then shift to the handwriting input mode, and input by handwriting. Therefore, it is necessary to return to the command mode each time input of one text input area is completed, specify the text input area to be input next, enter handwriting input mode, and repeatedly input by handwriting. There is a problem that it is very troublesome to switch the mode and specify the text input area every time the input area changes.
[0008]
In addition, the information processing apparatus disclosed in Japanese Patent Laid-Open No. 7-65114 discloses that a recognized character is displayed at the start coordinate point of the first stroke of the character input by handwriting on the screen. However, this is a handwritten character input method when the entire screen is a text input area only representing the display position of the character, and when the text input area is a part of the screen, the text input area is selected. The method is not disclosed.
[0009]
[Problems to be solved by the invention]
As described above, the conventional method has various problems regardless of which method is used. If the entire screen is used as a handwritten character input area so that the user can easily input handwritten characters, the text input area is displayed on the screen. In some cases, or when there are a plurality of text input areas on the screen, there is a problem that it is impossible to specify to which text input area the recognized character should be transferred.
[0010]
As today's computers become more sophisticated, smaller, and less expensive, and portable terminals become more widespread, the screen will be smaller and the text input area and handwritten character input area will be separated. If it is difficult, it is effective to make the handwritten character input area the entire screen. However, if the text input area on the screen is a part of the screen or there are multiple text input areas on the screen, handwriting will be done one by one. Since it is necessary to input the handwritten characters after specifying the text input area where the recognized characters should be input by switching the input mode and command mode, the text input to be input without switching the mode It is required to specify the area simply and to make the handwritten character area the entire screen.
[0011]
An object of the present invention is to input handwritten characters while simply specifying a text input area without switching modes when handwritten characters are input without any restrictions on screen design.
[0012]
[Means for Solving the Problems]
Briefly, the present invention is based on a predetermined coordinate point of stroke information input by handwriting when the entire screen is a handwritten character input area and one or more text input areas are included on the screen. The text input area to be selected is automatically selected, and the recognized character can be input and displayed in the selected text input area.
[0013]
That is, a handwritten character input device that recognizes and inputs a handwritten character input at an arbitrary position on the screen according to the present invention, inputs a screen display unit that displays the screen, and converts the handwritten character into stroke information. Included in the character input unit, the character recognition unit that recognizes the handwritten character using a character recognition dictionary based on the stroke information, and the stroke information of the handwritten character Ruza Mark If the overlaps with the text input area, it has the first overlapping coordinate point Text input area The Text entry area where recognized characters should be entered As A text input area determination unit to be automatically selected; When there is no part where the text input area overlaps the coordinate point included in the stroke information and the text input area for transferring the characters cannot be automatically selected, a new window is opened and the recognized characters are temporarily displayed. A text input area instruction unit for receiving an instruction of a text input area in which the temporarily displayed characters are to be input; The selected text input area Or the indicated text input area In addition, Said Transfer and display recognized characters If the window is opened, the window is further closed. And a recognized character display section.
[0014]
With such a configuration, the handwritten character input device of the present invention has less restrictions on the screen design, and it is not necessary to switch between the handwriting input mode and the command mode for each text input area, and strokes of handwritten characters input on the screen. Included in information Ruza Mark To the coordinate point that overlaps the text input area first. An existing text input area is automatically selected as the text input area to be input, and the recognized characters are transferred and displayed. If the text input area does not overlap with the coordinate point, and the text input area to which characters are to be transferred cannot be selected automatically, the recognized characters are temporarily displayed in a new window and the text input area to be input is indicated. It is possible to
[0015]
Moreover, the handwritten character input device which can recognize and input the character input by handwriting at an arbitrary position on the screen according to the present invention, The text input area determination unit is configured to store the handwritten character. stroke Included in information Coordinate point Is overlapped with the text input area, it is possible to input handwritten characters by determining whether or not the recognized characters can be sent to the text input area having the overlapping coordinate points. In the text input area The text input area having the first overlapping coordinate point is automatically selected as the text input area where the recognized character is to be input. It is characterized by that.
[0016]
With this configuration, the handwritten character input device of the present invention is ,hand Writing input did letter Recognize and select the recognized character Text input area Sent to letter Can be read properly The
[0017]
Further, in the handwritten character input device capable of recognizing and inputting a character input by handwriting at an arbitrary position on the screen according to the present invention, the text input area determination unit includes: The shape of the mouse cursor when tapping the pen By judging Said Text entry area where recognized characters should be entered But Choice Determine if it was done It is characterized by that.
[0018]
With this configuration, the handwritten character input device of the present invention is By obtaining the handle of the cursor of the GetCursor () function for determining the shape of the mouse cursor, and examining the attribute of the cursor, Text input area Area You can determine whether.
[0019]
In addition, a handwritten character input device that can recognize and input a character input by handwriting at an arbitrary position on the screen according to the present invention, Furthermore, the recognition character sent immediately before and its Handwritten Delete the recognition information holding part that holds the stroke information and the recognition character sent immediately before letter Recognition result cancel button to restore the stroke information of It is characterized by that.
[0020]
With this configuration, the handwritten character input device of the present invention is recognition letter After sending But Send immediately before did recognition letter Clear And Again, it is possible to redo or cancel the selection from the character candidates that are recognition results The
[0021]
Further, the program according to the present invention, which includes a step of recognizing and inputting a handwritten character input at an arbitrary position on the screen, which is read by a computer and operated on the computer, includes a step of displaying the screen, and a handwritten character. Included in the stroke information of the handwritten character, the step of converting to stroke information, the step of recognizing the handwritten character using a character recognition dictionary based on the stroke information, and Ruza Mark If the overlaps with the text input area, it has the first overlapping coordinate point Text input area The Text entry area where recognized characters should be entered As Automatically selecting steps, If there is no part where the text input area overlaps the coordinate point included in the stroke information and the text input area for transferring characters cannot be automatically selected, a new window is opened and the recognized characters are temporarily displayed; and Receiving a text input area instruction to input the temporarily displayed characters; The selected text input area Or the indicated text input area In addition, Said Transfer and display recognized characters If the window is opened, the window is further closed. Comprising the steps of:
[0022]
Also in a handwritten character input device capable of recognizing and inputting a handwritten character at an arbitrary position on the screen by reading the program having such a configuration into a computer and executing it , Te There is no need to switch between handwriting input mode and command mode for each text input area, and it is included in stroke information of handwritten characters entered on the screen. Ruza Mark First, the coordinate point that overlaps the text input area Automatically select the text input area that exists in the as the text input area to be input, and transfer and display the recognized characters If the text input area does not overlap with the coordinate point, and the text input area to which characters are to be transferred cannot be selected automatically, the recognized characters are temporarily displayed in a new window and the text input area to be input is indicated. It is possible to
[0023]
DETAILED DESCRIPTION OF THE INVENTION
(Embodiment 1)
The basic configuration diagram and the flow of processing of the present invention will be described with reference to the flowcharts of FIGS.
[0024]
In this embodiment, the screen is a transparent tablet, and the text input area is determined by taking a portable device that can use the entire screen as a handwritten character input area for the text input area displayed on the screen. The description will be made as the first coordinate point of the first stroke information of the first handwritten character having input a predetermined coordinate point. The handwritten character input at a time is not limited to one character, and includes a plurality of characters.
[0025]
In this embodiment, an example of inputting handwritten characters using a stylus pen on a transparent tablet is given, but handwritten input is performed using a pointing device such as a mouse on a display device such as a normal personal computer display device instead of a transparent tablet. Alternatively, an input-only tablet may be used for input / display on the display device, or another handwriting input device may be used. In the transparent tablet, an input screen and a display screen are integrated, and when a handwritten character is written directly on the screen using a stylus pen, the written character is displayed as it is.
[0026]
First, the screen display unit 1 displays a screen including a text input area on the screen of the transparent tablet 6 (step S1). An example of the screen of the transparent tablet 6 is given in FIG. On the screen, a mode switching button 9 and an end button 10, a fixed display character of the input screen, a text input area 8 and the like are displayed on the menu bar. In order to display the screen, the screen display unit 1 has the coordinate data of the text input area 8. In the example of FIG. 3, since the mode switching button 9 and the end button 10 are displayed on the screen, the first coordinate point of the handwritten character cannot be placed on the button, but has a key in hardware. In the case of a terminal, if the mode switching button 9 and the end button 10 are assigned to specific keys, the degree of freedom in screen design becomes higher.
[0027]
Next, the character input unit 2 receives a handwritten character input using the stylus pen 7 from the screen of the transparent tablet 6, inputs an input coordinate point sequence of the handwritten character as stroke information, and the transparent tablet as input. Is displayed on the screen (step S2). The input handwritten character is recognized by the character recognition unit 3 using the character recognition dictionary 3-1 (step S3).
[0028]
The handwritten character recognition method may use any of an online recognition method, an offline recognition method, and a hybrid recognition method as an individual handwritten character recognition method, and is not particularly limited. If there is a frame for inputting handwritten characters, the above recognition method may be applied to the handwritten characters in each frame. It is necessary to recognize it after separating characters.
[0029]
In order to determine to which text input area a character recognized by handwriting is sent, the text input area determination unit 4 is calculated from predetermined coordinate data included in the stroke of the input handwritten character and the position information of the text input area. Based on the coordinate data, a text input area existing at the predetermined coordinate point is selected (step S4). In the present embodiment, a predetermined coordinate point is used as the start coordinate point of the first stroke of the first handwritten character that is input, and the text input region at the position where the start coordinate point exists is selected as the text input region to be input. . The input handwritten character data is stored as a time-series coordinate data group in the following structure, for example.
[0030]
[Expression 1]

[0031]
This expression is a structure defined in the C language for storing input handwritten character data, and x and y are numbers representing the x coordinate value and the y coordinate value of coordinate points constituting the handwritten character data. , NPnt is the number of coordinate points constituting one stroke of the character, * pPnt is a pointer for indicating the number of coordinate points in nPnt, nStr is the number of strokes constituting the entire inputted handwritten character, * pStr is This is a pointer for indicating the number of strokes in nStr. At the time when a handwritten character is input, it is not possible to know the separation in units of one character. Therefore, all the x and y coordinate points constituting the image for each stroke (= 1 stroke) for all the input characters are the PATTERN. Is stored as handwritten character data.
[0032]
Each coordinate data is obtained by acquiring the coordinates of the input handwritten character in a predetermined time unit, and the handwritten character is represented as an aggregate of one or a plurality of coordinate points. The screen display of the characters input by handwriting is performed by drawing a line connecting the coordinate points constituting one image based on the data for each image. When handwritten character data is stored in the above structural formula, the start coordinate point of the first stroke of the first handwritten character is (pattern.pStr [1] .pPnt [1] .x, pattern.pStr [1]. pPnt [1] .y).
[0033]
A specific method for selecting a text input area will be described with reference to FIG. 3 (1) as an example. When a screen is displayed, the screen is represented by XY coordinates with the lower left corner of the screen as the origin. When handwriting input “Aiue” is performed on the screen as shown in FIG. 3 (1), the input handwritten character passes over the text input area 1 and the text input area 2. The start coordinate point of the first stroke of the first handwritten character is (250, 412), the upper left XY coordinate of the text input area of text input 1 is (230, 420), and the lower right XY coordinate is (600, 380). In this case, since the X coordinate of the start coordinate point is 230 to 600 and the Y coordinate is 380 to 420, it can be determined that the start coordinate point exists in this text input area. Even when there are a plurality of text input areas on the screen, the text input area to be selected can be specified by performing the same determination in each text input area.
[0034]
As the coordinate data of the text input area, the coordinate data of the text input area of the screen at the time of creation by the screen display unit 1 is used. In many cases, the coordinates of the text input area at the time of screen creation are coordinate data in character units. In this case, the text input area determination unit 4 converts the coordinate data into dot data on the screen and compares them. Of course, the screen display unit 1 may convert the coordinates of the text input area into coordinate data in dot units and store them.
[0035]
The recognized character display unit 5 transfers and displays the character recognized by the character recognition unit 3 in the text input region selected by the text input region determination unit 4 (step S6). Normally, the display of handwritten characters is erased at this point. In the example of (1) of FIG. 3, since the first start coordinate point of the first stroke of the first character of “Aiue” inputted by handwriting is in the text input area of the text input 1, (2) of FIG. The character code of the character “Aiue” recognized as follows is displayed in the text input area of the text input 1.
[0036]
In the present embodiment, the text input area existing at the start coordinate point of the first stroke of the first handwritten character is automatically selected as the input area, but as another method, the text at the center of gravity position of the entire written character string A case where an input area is selected can be considered. In this case, the barycentric position is obtained by the following equation.
[0037]
[Expression 2]

[0038]
In the above equation, px and py represent the x-coordinate and y-coordinate of the center of gravity position of the entire written character string, respectively. i indicates the number of the stroke of the entire input handwritten character string, and j indicates the number of the coordinate point of each stroke.
[0039]
As another embodiment, when the coordinates of the input handwritten character first overlap with the coordinates of the text input area, the text input area can be selected. In this case, it is only necessary to check whether the coordinates of the input handwritten character data are included in the coordinates of the text input area in order from the beginning.
[0040]
With this configuration, in a handwritten character input device that can recognize and input a handwritten character at an arbitrary position on the screen, the degree of freedom in screen design is high, and it is necessary to switch between the handwriting input mode and the command mode for each text input area Instead, it automatically selects the text input area that exists at the specified coordinate point included in the stroke information of the handwritten characters entered on the screen as the text input area to be input, and transfers the recognized characters. It can be displayed.
[0041]
(Embodiment 2)
In the first embodiment, the method for selecting the text input area to be input based on the position information of the text input area has been described. In the present embodiment, the text input area determination unit 4 transfers the recognized character to the selected text input area and determines whether or not the character actually transferred to the text input area is read. A method of determining whether or not the area is really a text input area corresponding to handwritten character input will be described. Since only the internal processing of the text input area determination unit 4 is different from the first embodiment, a description will be given using the configuration diagram of the first embodiment.
[0042]
The feature of this embodiment is that a recognized character is sent to an area on the screen at a predetermined coordinate point, and it is actually determined whether or not the character sent to that area is normally read. That is, when a normally sent character is read into the area, the area is a text input area. When the character is not read, the area can be regarded as not a text input area.
[0043]
In the text input area, for example, a text input component such as Pen Service EditBox, which is a standard of Windows 95 (trademark of Microsoft Corporation), may be registered for handwritten character input. By doing so, the result of recognizing handwritten characters can be sent to the area and input. Even if it is a text input area, text input parts do not support handwriting input, and if it is set to input directly from the keyboard, an error will occur if handwritten input characters are sent even in the text input area. The return code shown is returned. In this embodiment, by using this function, it is determined whether or not the region at the designated coordinates is a text input region where handwriting input is possible. The area determination logic of the area determination unit 15 will be described below using the flowchart of FIG.
[0044]
First, the text input area determination unit 4 actually sends the recognized character to the area at a predetermined coordinate point of the handwritten character (step S10). A return code indicating whether or not the character transmitted to the area has been read correctly is received from the area where the recognized character is transmitted (step S11). It is determined whether or not the return code is normal (step S12). If the return code is normal (step S12: normal), the indicated area is a text input area where handwritten characters can be input, and the text input area determination process ends. If the return code is abnormal (step S12: abnormal), the indicated area is an area where handwritten characters cannot be input, and error processing is performed (step S13). Details of the error processing will be described in a third embodiment to be described later.
[0045]
In addition, as another method for determining whether the selected area is a text input area, the recognized area is set as a text input area corresponding to handwritten input characters without sending the recognized character to the designated area. There are a method for determining whether or not a character is registered, and a method for determining the shape of a mouse cursor when a text input area is selected when handwritten characters are input with a mouse.
[0046]
Hereinafter, a method for determining whether or not the area is registered as a text input area corresponding to handwritten input characters in the text input component will be described with reference to the flowchart of FIG. All the regions on the screen are pre-registered in the text input component, such as a text input region corresponding to handwriting input, a text input region corresponding to keyboard input, or a text output region.
[0047]
First, a handle of an area having a predetermined coordinate point of a handwritten character is obtained (step S10a). The type of the handled area is acquired (step S11a). It is determined whether or not the type of the handled area is registered as a text input area corresponding to handwritten character input (step S12a). If the handled area is a text input area (step S13a: YES), the recognized characters are sent to the text input area for display. If the handled area is not a text input area corresponding to handwritten character input (step S13a: NO), error processing is performed (step S14a). The error processing when the designated area is not the text input area will be described in the third embodiment.
[0048]
Next, a method for determining the shape of the mouse cursor when a handwritten character is input with the mouse and the text input area is selected will be described. For example, when the OS of the portable terminal is Windows (trademark of Microsoft Corporation), if handwritten characters are input with the mouse and the predetermined coordinates are the text input area, the mouse cursor moves to the text input area, and the mouse cursor Since the shape of the cursor usually changes to the “I” type, it is possible to determine whether the text input area is obtained by obtaining the handle of the cursor of the GetCursor () function for determining the cursor shape and examining the cursor attribute. . When the mouse cursor moves to the text input area, the mouse cursor itself moves to the beginning of the input area, but the shape of the mouse cursor changes to match the text input area even if it moves to the beginning of the text input area. Therefore, it can be determined whether or not the mouse cursor is in the text input area. The acquired attribute of the cursor is expressed by a CURSORINFO structure, and the shape of the cursor can be checked by checking the value of hCursor which is an element in the CURSORINFO structure. If the shape of the mouse cursor has been changed, the value of the cursor hCursor corresponding to the shape may be checked. In the case of a cursor provided by Windows32 API, if an appropriate value is set according to the execution environment, it can be determined whether or not the mouse cursor is in the text input area by checking whether it is the same as the value of IDC_IBEAAM. .
[0049]
With this configuration, it is easy to automatically determine whether or not the area at a predetermined coordinate point of the handwritten character is a text input area by using the text input component of the OS without holding the position information of the text input area. Can be judged.
[0050]
(Embodiment 3)
In this embodiment, in

Embodiments

1 and 2, the predetermined coordinate point of the input handwritten character does not overlap the text input area on the screen, and thus the text input area cannot be automatically selected. Will be described based on the first embodiment. A configuration diagram and a processing flow of the present embodiment will be described with reference to FIGS. The same parts as those in the first embodiment are given the same numbers, and the description thereof is omitted. FIG. 8 is an example of a screen according to the present embodiment.
[0051]
Steps S20 to S22 in FIG. 7 are the same as steps S1 to S3 in FIG.
[0052]
Even if a handwritten character is input, the handwritten character does not overlap with the text input region on the screen as shown in (1) of FIG. 8, and the text input region for transferring the character recognized by the text input region determination unit 4 Cannot be automatically selected (step S23: NO), the recognized character temporary display unit 12 newly opens another window 14 and displays the recognized character there as shown in (2) of FIG. 8 (step S23). S26). Step S23 corresponds to steps S10 to S12 in the second embodiment.
[0053]
The text input area instructing unit 13 receives a text input area instruction to be input from the user as shown in FIG. 8 (3) (step S27). Switching to the command mode for accepting an instruction from the user automatically switches from the handwriting input mode to the command mode when the recognized character temporary display unit 12 is displayed and the text input area is awaited. When the text input area to be input is designated with the stylus pen 7 or the like, the handwriting input mode is automatically returned. Therefore, there is no need to manually switch the mode. In addition, the frame of the text input area instructed at this time may be indicated by a thick line or a high luminance to clearly indicate the area selected by the user.
[0054]
Even if the text input area instructing unit 13 waits for this instruction and designates the text input area with the stylus pen, it is switched to the command mode, so it is not regarded as character input but as text input area designation. The text input area is determined based on the instructed coordinate data, and the recognized character and the instruction of the text input area to be input are passed to the recognized character display section 5, and the recognized character display section as shown in FIG. 5 transfers the recognized character to the designated text input area 8 and displays it (step S28).
[0055]
Here, an OK button and a Cancel button are displayed in the separate window 12 together with the recognized characters. Thereafter, if there is no problem with this, the OK button is pressed (step S29: YES) to delete the separate window 12 (step S31), and when the character transfer is stopped, the Cancel button is pressed (step S29: NO). Thus, the character transferred to the text input area 8 is deleted (step S30), and the separate window 12 is deleted (step S31). The error process in step S13 in the flowchart of FIG. 4 of the second embodiment corresponds to steps S26 to S31.
[0056]
In addition to this method, an OK button may not be provided, and the recognized character may be transferred unconditionally simply by designating the text input area 8 to be input with the stylus pen 7, or when the OK button is pressed. When the transfer is performed and the Cancel button is pressed, the separate window 12 may be erased without transferring the characters.
[0057]
Processing steps S24 to S25 in the case where the text input area for transferring the character recognized by the text input area determination unit 4 can be automatically selected (step S23: YES) are the same as steps S4 to S5 in FIG. Is omitted.
[0058]
In this embodiment, when the predetermined coordinates of the input handwritten character do not overlap with the text input area, the user is instructed to input the text input area, but there is only one text input area on the screen. The user may determine that the text input area is unconditionally designated without receiving an instruction from the user. Further, it may be determined that the text input area closest to the predetermined coordinates is designated.
[0059]
Also, in this embodiment, when the text input area cannot be selected, the recognized character is temporarily displayed in another window, and the cancel can be performed when the destination text input area is selected and the recognized character is transmitted. However, after the text input area is correctly selected from the beginning and automatic transmission of recognized characters is completed, an incorrect character is transmitted, and thus it may be desired to cancel the character transmitted immediately before. In order to cope with such a case, a recognition information holding unit (not shown) that holds the stroke information of the character and handwritten character sent immediately before and a recognition result cancel button are provided, and an incorrect result is provided. After the recognition character is sent out, the recognition result cancel button is pressed to delete the recognition character sent immediately before from the text input area so that the stroke information of the handwritten character can be restored. The recognition result cancel button may be provided as a hardware button other than the screen, or may be provided as a software button on the screen. The sent character and handwritten character stroke information may be held only once, or may be held multiple times. When holding a plurality of times, each time the recognition result cancel button is pressed once, the previous input state is restored. The input handwritten character may be displayed again or not. As a result, even after the recognition character is transmitted, the recognition character transmitted immediately before is cleared, and it is possible to redo or cancel the selection again from the character candidate as the recognition result.
[0060]
With this configuration, in a handwritten character input device that can recognize and input a handwritten character at an arbitrary position on the screen, even if there is no text input area at a predetermined coordinate point of the handwritten character, Even if you mistakenly specify the text input area with handwritten characters, you can easily enter text without manually switching between command mode and handwriting mode. An area can be specified.
[0061]
(Embodiment 4)
Next, a recording medium on which a program for realizing the handwritten character input device according to the embodiment of the present invention is recorded is a CD-ROM 15-1, floppy (registered trademark, hereinafter) as in the example of the recording medium shown in FIG. (Same) Not only the portable recording medium 15 such as the disk 15-2 but also any other storage device 16 stored at the end of the communication line, or the recording medium 17 such as the hard disk or RAM of the computer, and the present invention. When using such a data display device, it is read by the computer 18 and executed on the main memory.
[0062]
Even in a handwritten character input device capable of recognizing and inputting a handwritten character or character string at an arbitrary position on the screen by loading the program from the recording medium into the computer, a handwriting input mode and a command mode are provided for each text input area. Automatically select the text input area that exists at the specified coordinate point included in the stroke information of the handwritten character entered on the screen as the text input area to be input, and recognize the recognized character. A handwritten character input device that can be transferred and displayed can be realized.
[0063]
(Supplementary note 1) In a handwritten character input device that recognizes and inputs a handwritten character input at an arbitrary position on the screen,
A screen display for displaying the screen;
A character input unit for inputting handwritten characters and converting them into stroke information;
A character recognition unit that recognizes the handwritten character using a character recognition dictionary;
A text input area determination unit that automatically selects a text input area in which a recognized character is to be input based on a predetermined coordinate point included in the stroke information of the handwritten character and position information of the text input area on the screen When,
A handwritten character input device comprising a recognized character display unit for transferring and displaying a recognized character in the selected text input area. (1)
(Supplementary note 2) In the handwritten character input device according to supplementary note 1,
The handwritten character input device, wherein the predetermined coordinate point is a start coordinate point of a first stroke of a handwritten character input first. (2)
(Supplementary Note 3) In the handwritten character input device according to

Supplementary Note

1 or 2,
The handwriting characterized in that the text input area determination unit automatically selects a text input area into which the recognized character is to be input by determining whether or not the recognized character can be sent to the specified area. Character input device. (3)
(Supplementary Note 4) In the handwritten character input device according to

Supplementary Note

1 or 2,
A handwritten character input device, wherein the text input region determination unit determines whether a text input region into which a recognized character is to be input is selected by determining a shape of a mouse cursor at the time of pen tapping.
[0064]
(Supplementary note 5) In the handwritten character input device according to supplementary notes 1 to 4,
When a text input area does not exist at the predetermined coordinate point, a recognized character temporary display unit that newly opens a window and temporarily displays the recognized character;
A text input area instruction unit for receiving an instruction of a text input area in which the temporarily displayed characters are to be input;
The recognition character display unit transfers the temporarily displayed character to the instructed text input area and displays it, and closes the another window. (4)
(Appendix 6) In the handwritten character input device according to appendices 1 to 5,
Furthermore, a recognition information holding unit that holds the recognition character sent immediately before and stroke information of the handwritten character;
A handwritten character input device comprising a recognition result cancel button for deleting a recognized character sent immediately before and restoring stroke information information of the handwritten character.
[0065]
(Supplementary Note 7) A program that includes a step of recognizing and inputting a handwritten character input at an arbitrary position on the screen, and is operated by being read by a computer,
A step of displaying a screen;
Inputting handwritten characters and converting them into stroke information;
Recognizing the handwritten character using a character recognition dictionary;
Automatically selecting a text input area to which a recognized character should be input based on a predetermined coordinate point included in the stroke information of the handwritten character and position information of the text input area on the screen;
A program comprising the step of transferring and displaying a recognized character in the selected text input area. (5)
[0066]
【The invention's effect】
According to the handwritten character input device of the present invention, the degree of freedom in screen design is high, and it is not necessary to switch between the handwritten input mode and the command mode for each text input area, and is included in the stroke information of the handwritten characters input on the screen. Ruza Mark First, the coordinate point that overlaps the text input area Automatically select the text input area that exists in the as the text input area to be input, and transfer and display the recognized characters If the text input area does not overlap with the coordinate point, and the text input area to which characters are to be transferred cannot be selected automatically, the recognized characters are temporarily displayed in a new window and the text input area to be input is indicated. It is possible to
[0067]
Moreover, according to the handwritten character input device of the present invention, ,hand Writing I input it letter Recognize and select the recognized character Text input area To check whether the sent characters can be read properly. It can be judged.
[0068]
Moreover, according to the handwritten character input device of the present invention, Get the cursor handle of GetCursor () function to determine the shape of the mouse cursor, and check the cursor attributes Text input area by whether The Size Can be determined.
[0069]
In addition, according to the handwritten character input device of the present invention, even after the recognized character is transmitted, the recognized character transmitted immediately before is cleared, and it is possible to redo or cancel the selection again from the character candidate as the recognition result.
[0070]
By loading the program from this recording medium into the computer, it is included in the stroke information of handwritten characters input on the screen without having to switch between the handwriting input mode and the command mode for each text input area. Ruza Mark First, the coordinate point that overlaps the text input area Automatically select the text input area that exists in the as the text input area to be input, and transfer and display the recognized characters If the text input area does not overlap with the coordinate point, and the text input area to which characters are to be transferred cannot be selected automatically, the recognized characters are temporarily displayed in a new window and the text input area to be input is indicated. It becomes possible to realize a handwritten character input device that can be used.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of Embodiment 1 of the present invention.
FIG. 2 is a flowchart showing a processing flow according to the first embodiment of the present invention.
FIG. 3 Example 1 of a transparent tablet screen
FIG. 4 is a flowchart 1 showing a processing flow of a text input area determination unit according to the second embodiment of the present invention;
FIG. 5 is a flowchart 2 showing a processing flow of a text input area determination unit according to the second embodiment of the present invention;
FIG. 6 is a configuration diagram of Embodiment 3 of the present invention.
FIG. 7 is a flowchart showing the flow of processing according to the third embodiment of the present invention.
FIG. 8: Example 2 of a transparent tablet screen
FIG. 9 is an exemplary diagram of a recording medium.
[Explanation of symbols]
1 Screen display
2 Character input part
3 Character recognition part
3-1 Character recognition dictionary
4 Text input area judgment part
5 Recognition character display
6 Transparent tablet
7 Stylus pen
8 Text input area
9 Mode switch button
10 Exit button
11 Text input screen
12 Recognition character temporary display part
13 Text input area instruction section
14 Recognized character temporary display window
15 Portable recording media such as CD-ROM and floppy disk
15-1 CD-ROM
15-2 Floppy disk
16 Other storage devices stored at the end of the communication line
17 Recording media such as RAM / hard disk on computer
18 computer

Claims

画面上の任意の位置に手書き入力した文字を認識して入力する手書き文字入力装置において、
画面を表示する画面表示部と、
手書き文字を入力して、ストローク情報に変換する文字入力部と、
前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識する文字認識部と、
前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するテキスト入力領域判定部と、
前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示する認識文字一時表示部と、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるテキスト入力領域指示部と、
前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じる認識文字表示部を具備することを特徴とする手書き文字入力装置。In a handwritten character input device that recognizes and inputs characters handwritten at any position on the screen,
A screen display for displaying the screen;
A character input unit for inputting handwritten characters and converting them into stroke information;
A character recognition unit for recognizing the handwritten character using a character recognition dictionary based on the stroke information;
If the stroke coordinate point is Ru included in the information of the handwritten character overlaps the text entry area, a text input area having a coordinate point initially overlap, automatically selects as a text input area to enter the recognized text A text input area determination unit;
When there is no part where the text input area overlaps the coordinate point included in the stroke information and the text input area for transferring the characters cannot be automatically selected, a new window is opened and the recognized characters are temporarily displayed. And
A text input area instruction unit for receiving an instruction of a text input area in which the temporarily displayed characters are to be input;
To the selected text input area or the designated text input regions were, and to transfer and display the recognized characters, if you open the window further comprises a recognized character display unit which you close the window The handwritten character input device characterized by the above-mentioned.

請求項１に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、前記重なる座標点を持つテキスト入力領域に認識した文字の送出が可能か否か判定することによって、手書き文字の送出が可能なテキスト入力領域で最初に重なる座標点を持つテキスト入力領域を、前記認識した文字を入力すべきテキスト入力領域として自動的に選択することを特徴とする手書き文字入力装置。The handwritten character input device according to claim 1,
The text input area determination section, wherein when the coordinate points included in the stroke information of handwriting overlaps the text entry area, determines whether transmission of characters recognized in the text input area having a coordinate point where the overlap can Thus, a handwritten character is automatically selected as a text input region in which the recognized character is to be input, with the text input region having the first overlapping coordinate point in the text input region where the handwritten character can be transmitted. Input device.

請求項１または２に記載の手書き文字入力装置において、
前記テキスト入力領域判定部が、ペンタップ時のマウスカーソルの形状を判定することによって、前記認識した文字を入力すべきテキスト入力領域が選択されたか判定することを特徴とする手書き文字入力装置。The handwritten character input device according to claim 1 or 2,
The text input area determination unit, by determining the shape of the mouse cursor at the time of pen tap, handwritten character input device text input area to enter the recognized character is equal to or determining whether the selected.

請求項１乃至３に記載の手書き文字入力装置において、
更に、直前に送出した認識文字とその手書き文字のストローク情報を保持する認識情報保持部と、
直前に送出した認識文字を削除し、手書き文字のストローク情報を復元する認識結果取消ボタンを備えることを特徴とする手書き文字入力装置。The handwritten character input device according to claim 1,
Furthermore, a recognition information holding unit that holds the recognition character sent immediately before and stroke information of the handwritten character;
Remove the recognized character sent immediately before, handwritten character input device according to claim Rukoto includes a recognition result cancel button to restore the stroke information of handwriting.

画面上の任意の位置に入力した手書き文字を認識して入力するステップを含み、コンピュータに読み込ませて稼働するプログラムであって、
画面を表示するステップと、
手書き文字を入力して、ストローク情報に変換するステップと、
前記ストローク情報に基づいて、文字認識辞書を用いて前記手書き文字を認識するステップと、
前記手書き文字の前記ストローク情報に含まれる座標点がテキスト入力領域と重なる場合、最初に重なる座標点を持つテキスト入力領域を、認識した文字を入力すべきテキスト入力領域として自動的に選択するステップと、
前記ストローク情報に含まれる座標点にテキスト入力領域が重なる部分がなく、文字を転送するテキスト入力領域が自動選択できない場合、新しくウィンドウを開いて、認識した文字を一時的に表示するステップと、
前記一時表示された文字を入力すべきテキスト入力領域の指示を受け付けるステップと、
前記選択されたテキスト入力領域又は前記指示されたテキスト入力領域に、前記認識した文字を転送して表示し、前記ウィンドウを開いた場合は、更に、前記ウィンドウを閉じるステップを含むことを特徴とするプログラム。A program that includes a step of recognizing and inputting a handwritten character input at an arbitrary position on the screen, and is operated by being read by a computer,
A step of displaying a screen;
Inputting handwritten characters and converting them into stroke information;
Recognizing the handwritten character using a character recognition dictionary based on the stroke information;
If the stroke coordinate point is Ru included in the information of the handwritten character overlaps the text entry area, a text input area having a coordinate point initially overlap, automatically selects as a text input area to enter the recognized text Steps,
If there is no part where the text input area overlaps the coordinate point included in the stroke information and the text input area for transferring characters cannot be automatically selected, a new window is opened and the recognized characters are temporarily displayed; and
Receiving an instruction of a text input area in which the temporarily displayed characters are to be input;
To the selected text input area or the designated text input regions were, and to transfer and display the recognized characters, if you open the window further, and comprising the step of the Close the window Program to do.