JP2007102369A - ジェスチャ認識装置およびジェスチャ認識方法 - Google Patents

Abstract

【課題】 タブレット等の座標入力装置に容易に文字やジェスチャを入力できるジェスチャ認識装置を提供する。
【解決手段】 入力位置判定処理手段においてストロークの最後の座標データがタブレット内の文字入力領域の内側に在ると判定された場合には、ストロークを文字として処理する文字認識処理手段へ送り、ストロークの最後の座標データが文字入力領域の外側に在ると判定された場合には、ストロークをジェスチャとして処理するジェスチャ認識処理手段へ送り、手書き文字とジェスチャを区別する。
【選択図】 図２

Description

本発明は、タブレット等の座標入力装置を介して入力される座標情報を処理するコンピュータや携帯情報端末、ワードプロセッサ等の情報処理装置に用いられるジェスチャ認識装置およびジェスチャ認識方法に関する。

情報処理装置のタブレット等の座標入力装置に、ユーザがペン等を用いて英字、数字、平仮名、片仮名等の文字や一般的に文中の文字として扱われる記号（例えば“「”、“」”、“（”、“）”、“？”等）等の各種文字、それらを使った一連の文章を入力する動作の中で、ジェスチャと言われる筆跡を入力することで、入力された各種文字、一連の文章の編集等の操作や情報処理装置に対する操作を指示することが行われている。

一部のジェスチャは、文字と類似した形状のものがある。例えば、入力内容確定を意味するジェスチャとして逆Ｌ字形状の“┘”を割り当てることがある。英語の場合は“┘”に類似した文字は無いため問題ないが、日本語の場合、かぎ括弧“」”と形が類似しているため、形状から入力内容確定を意味するジェスチャなのかかぎ括弧なのか判別するのは難しい。

以上のようなことから、文字とジェスチャを判別するためには、入力された文字やジェスチャの座標系列によるストロークのデータ以外に、タブレット上での入力位置等の情報を用いる場合もある。

例えば、タブレット上にジェスチャ機能の有効領域をと無効領域を予め設け、ペンダウンした座標が有効領域内であればジェスチャと判定し、有効領域外であれば文字あるいは他の操作と判定する方法が考えられている。（特許文献１）
特開平１１−３４５０７２号公報

ユーザが入力ペンを用いてタブレット上に文字やジェスチャを入力する場面の多くは、机上の作業ではなく、タブレットを有するＰＤＡ（Personal Digital Assistance ）のような携帯情報端末や情報処理装置を片手に持ち、立ち作業で、現場の状況に応じてその場で入力するというものである。携帯情報端末を片手に持った立ち作業では、タブレット上にあるボタンにペンを当てたり、文字やジェスチャを入力するための区別された領域に目掛けて交互にペンを当てることは難しく面倒な作業である。また机上での操作においても、タブレット上の狭い領域にペンを当てたり、文字やジェスチャを入力するときに、切り替え作業を行うのは面倒な作業である。

タブレット上にジェスチャ機能の有効領域と無効領域を設け、ペンダウンした座標が有効領域内であればジェスチャと判定し、有効領域外であれば文字あるいは装置の他の操作と判定する方法では、タブレットに積極的に文字を記入することを想定しておらず、ペンによる文字入力とジェスチャ入力を区別するのに手間が掛かり、タブレット等の座標入力装置を有する情報処理装置として使い勝手がよくなかった。

文字を入力したりジェスチャを入力したりするときの入力作業において、入力位置が違っていたり、入力の事前の切り替え作業があったりすると入力作業の効率が悪い。入力位置が同じで、事前の切り替え作業がなく、連続的な動作で文字やジェスチャを入力できることが望ましい。

本発明は上記問題点を解決するためになされたもので、タブレット等の座標入力装置に文字やジェスチャを容易に入力できるジェスチャ認識装置およびジェスチャ認識方法を提供することを目的とする。

上記目的を達成するために、本発明のジェスチャ認識装置は、座標入力装置にペン等により入力された座標を検知するための入力位置検出手段と、前記入力位置検出手段によって検知された座標系列により生成されたストロークが文字入力領域に在るかを判定するための入力位置判定処理手段と、前記入力位置判定処理手段において、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の内側に在ると判定されたときに、前記ストロークを文字として認識するための文字認識処理を行う文字認識処理手段と、前記入力位置判定処理手段において、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の外側に在ると判定されたときに、前記ストロークをジェスチャとして認識するためのジェスチャ認識処理を行うジェスチャ認識処理手段とを有することを特徴とする。

本発明によれば、ストロークの最後の座標データがタブレット内の文字入力領域の内側に在る場合には、ストロークを文字として処理し、ストロークの最後の座標データが文字入力領域の外側に在る場合には、ストロークをジェスチャとして処理するようにしたので、ジェスチャを入力するときに、タブレットの別の領域にペンを当てたり、入力の事前の切替え作業をする必要がなく、文字入力と同様の連続的な動作でジェスチャを入力できるので、タブレット等の座標入力装置に文字やジェスチャを容易に入力できる。

以下本発明の実施例について図面を参照しながら説明する。

図１は本発明の一実施例のハードウェア構成を示す図である。図１の情報処理装置は、例えば携帯情報端末等の小型情報機器であり、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、タブレット（タブレット装置）４、表示装置５、データ記録再生装置６、記憶媒体７、及びインターフェース部（Ｉ／Ｆ）８，９，１０等から構成されている。

ＣＰＵ１は各種データの処理のための演算や情報処理装置のシステム全体の制御を行う。ＲＯＭ２は基本ソフトウェア等が予め格納された不揮発メモリ（記憶媒体）、ＲＡＭ３はＣＰＵ１の作業エリア等に利用される揮発性メモリである。

タブレット４は手書き文字あるいはジェスチャといった筆跡データの入力が可能な座標入力装置、表示装置５は各種情報を表示する液晶ディスプレイ等の表示装置である。

記憶媒体７はハードディスク、メモリカード等の記録再生可能な記憶手段である。この記憶媒体７にはデータ及びプログラムが格納されている。データ記録再生装置６は、記憶媒体７に格納されているデータやプログラムを読み込んだり、新しいデータを記録したりすることができるハードディスクドライブ、メモリカード記録再生機器等のデータ記録再生手段である。ここでは、ハードディスクドライブ、メモリカード記録再生機器等の記録再生可能なタイプの装置を想定しているが、データやプログラムの読み込みだけであれば、ＣＤ−ＲＯＭドライブのようなデータ再生機器を接続してもよい。

インターフェース部８、インターフェース部９、インターフェース部１０は、それぞれタブレット４、表示装置５及びデータ記録再生装置６のインターフェースを構成する。

記憶媒体７には、上記プログラムとして、タブレット４に入力された筆跡の認識を行うための文字認識プログラムが予め格納されている。ＣＰＵ１は文字認識プログラムに従って入力筆跡の文字認識処理を行う。なお文字認識プログラムはＲＯＭ２に格納されていても構わない。

入力ペン１１はタブレット４へ手書き文字あるいはジェスチャといった筆跡データを入力するための専用のペンである。入力ペン１１とタブレット４の入力・読み取り方式として、感圧方式、電磁誘導方式、静電容量方式、波動方式等がある。本実施例では例えば感圧方式を適用するものとするが、上記のどの方式を用いても構わない。電磁誘導方式ではタブレット４に入力ペン１１のペン先が直接接触せず、タブレットの表面から数ミリメートル離れている状態であってもタブレット４が入力信号を検出できるが、入力信号を検出する距離でペンダウンと考えて差し支えない。またタブレット４の表面と入力ペン１１との接触位置から徐々に離れて入力信号を検出しなくなった位置をペンアップと考えて差し支えない。タブレット４は例えば透明であり、表示装置５の表示画面上に重ねて配置されている。

タブレット４にユーザが入力ペン１１を利用して文字を筆記すると、その入力された座標値の時系列情報がタブレット４により検出される。入力ペン１１がタブレット４に触れてから離れるまでの間の座標データの列、つまり筆跡の座標データ列をストロークと呼ぶひとまとまりのデータとして扱う。

図２は本発明の一実施例の機能構成を示すブロック図である。このジェスチャ認識装置は、タブレット４、表示装置５、入力ペン１１、入力位置検知手段１４、入力位置処理手段１５、入力位置判定処理手段１６、文字認識処理手段１７、文字認識結果送信処理手段１８、ジェスチャ認識処理手段１９、ジェスチャ認識結果送信処理手段２０、文字入力・編集領域処理手段２１、入力結果表示手段２２とから構成される。

タブレット４の入力面には、文字入力領域１２が設けられている。文字入力領域１２は、タブレット４の入力面上の一部に座標データとして区切られた領域であって、手書き文字を入力するための領域である。またタブレット４には文字入力・編集領域１３が設けられている。文字入力・編集領域１３は文字として認識された結果を表示するようになっている。

入力位置検出手段１４は、入力ペン１１がタブレット４に触れた位置を検知し、座標データを得る。入力ペン１１がタブレット４に触れている間のペン先の位置を表す２次元座標データを、一定時間間隔でサンプリングすることによって座標データを得る。得られた座標データはＲＡＭ３上のバッファに取り込まれる。

入力位置処理手段１５は、入力位置検出手段１４によって得られた座標データを、入力ペン１１がタブレット４に触れて（ペンダウン）から離れる（ペンアップ）までの間の座標データ列、つまり筆跡の座標データ列をストロークとして生成する。入力位置処理手段１５は、入力位置検出手段１４からのデータが取り込まれる度にストロークを生成する。また、入力位置処理手段１５は、生成されたストロークの座標データ列をタブレット４への入力とほぼ同時に入力結果表示手段２２へ送る。

入力位置判定処理手段１６は、入力位置処理手段１５によって生成されたストロークが文字入力領域１２にあるかを判定する。例えばストロークの最初の座標データ（ペンダウンの座標データ）、最後の座標データ（ペンアップの座標データ）が文字入力領域１２の内側にあるか外側にあるかを判定する。

入力位置判定処理手段１６は、ストロークの最初の座標データが文字入力領域１２の内側に在ると判定し、且つストロークの最後の座標データが文字入力領域１２の内側に在ると判定したときに、入力したストロークを文字として処理する文字認識処理手段１７に送る。一方、入力位置判定処理手段１６は、ストロークの最初の座標データが文字入力領域１２の内側に在ると判定し、且つストロークの最後の座標データが文字入力領域１２の外側に在ると判定したときには、入力したストロークをジェスチャとして処理するジェスチャ認識処理手段１９に送る。

このように入力位置判定処理手段１６は、入力位置処理手段１５からストロークが取り込まれる度に、ストロークの最初の座標データと最後の座標データが文字入力領域１２の内側にあるか外側にあるかを判定し、その判定結果に基づいてストロークを文字認識処理手段１７またはジェスチャ認識処理手段１９に送る。

文字認識処理手段１７は、入力位置判定処理手段１６から出力されたストロークを文字として処理する。文字認識処理手段１７は、ストロークのデータが入力される度に、文字認識辞書２３を用いて、それまでに入力されたストロークの形状およびストローク間の位置関係に基づき最も確からしい、最適な文字を求め、文字コードを得る。

文字認識辞書２３は、文字を構成するストロークの形状やストローク間の位置関係などの特徴情報を登録した辞書と、複数の文字のうちの続けて筆記される各２文字の組み合わせについて、その２文字の間の構造関係が表現された情報を登録した辞書から構成されている。

タブレット４上の文字入力領域１２には、連続する２文字が左右に並べて筆記される場合もあれば、重ねて筆記される場合（例えば、ペンで文字を筆記するための文字入力領域１２が１文字分だけである場合）もある。前者の場合の２文字の間の構造関係とは、２文字が左右に並べて筆記される場合における一方の文字のストロークと他方の文字のストロークとの間の位置関係の特徴情報である。後者の場合の２文字の間の構造関係とは、２文字が重ねて筆記される場合における一方の文字のストロークと他方の文字のストロークとの間の位置関係の特徴情報である。本実施形態ではいずれの場合であっても適用可能である。両者の違いは２文字の間の構造関係の情報のみである。

ジェスチャ認識処理手段１９は、入力位置判定処理手段１６から出力されたストロークをジェスチャとして処理する。ジェスチャ認識処理手段１９は、入力位置判定処理手段１６からストロークが入力する度に、ジェスチャ認識辞書２４を用いて、それまでに入力されたストロークの形状およびストローク間の位置関係に基づき最も確からしい、最適なジェスチャを求め、ジェスチャコードを得る。ジェスチャコードは、各ジェスチャに割り当てられた固有のコードである。

ジェスチャ認識辞書２４は、ジェスチャを構成するストロークの形状やストローク間の位置関係などの特徴情報を登録した辞書と、各ジェスチャに対応するコマンドが登録された辞書とから構成されている。なお、複数のジェスチャが続けて筆記されることが想定される場合には、複数のジェスチャのうちの続けて筆記される各２ジェスチャの組み合わせについて、その２ジェスチャの間の構造関係が表現された情報を登録した辞書を前記ジェスチャ認識辞書２４に追加してもよい。

文字認識結果送信処理手段１８は、文字認識処理手段１７より出力された文字コードを、文字入力・編集領域処理手段２１へ送る。

ジェスチャ認識結果送信処理手段２０は、ジェスチャ認識処理手段１９によって判定され出力されたジェスチャコードをコマンドに変換して文字入力・編集領域処理手段２１へ送る。

図３は良く使われるジェスチャの例を示す図である。例えば、右から左方向への横棒というジェスチャは一文字後退削除を意味する編集コマンドであって、このジェスチャが認識されると結果として、カーソルの直前にある文字１文字が削除される。なお、図中の矢印はジェスチャの筆順を示す。

文字入力・編集領域処理手段２１は、文字の入力および編集が可能なアプリケーションであり、文字認識結果送信処理手段１８から送られた文字コードを蓄積する。また、ジェスチャ認識結果送信処理手段２０から出力されたコマンドに対応した操作を行う。例えば、一文字後退削除を意味する編集コマンドに対応するジェスチャを入力した場合には、表示されている現在のカーソルの位置のすぐ左側の一文字を削除する。

入力結果表示手段２２は文字入力・編集領域処理手段２１において蓄積された文字コード列を文字として可視化して表示装置５に表示したり、前記コマンド操作に応じた結果を表示する。また入力結果表示手段２２は、入力位置処理手段１５によって生成されたストロークの座標データ列を用いて、タブレット４への入力とほぼ同時に表示装置５に入力したストロークの筆跡を表示する。

図４は図２に示したブロック図の動作を示すフローチャートである。図４を参照しながら文字認識およびジェスチャ認識の手順について説明する。

ステップＳ１１は入力位置検出ステップであり、入力ペン１１によってタブレット４に触れた部分を入力位置検出手段１４によって検知し座標データを得るステップである。

ステップＳ１２では入力位置処理手段１５によって、入力ペン１１がタブレット４にペンダウンしてからペンアップするまで移動した一連の座標データ列を１個のストロークとして生成する。

ステップＳ１３は入力位置判定処理ステップであり、入力位置判定処理手段１６によってストロークの最初の座標データ（ペンダウンの座標データ）、ストロークの最後の座標データ（ペンアップの座標データ）が文字入力領域１２の内側にあるか外側にあるかを判定するステップである。ストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の内側にある場合、当該ストロークの座標データ列を文字として認識するため処理はステップＳ１４へ移る。ストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の外側にある場合、当該ストロークの座標データ列をジェスチャとして認識するため処理はステップＳ１８へ移る。

ステップＳ１４は文字認識処理ステップであり、文字と判定されたストロークを文字認識処理手段１７によって、文字認識処理を行い、文字コードを得るステップである。例えば、平仮名には１個のストロークからなる文字と複数のストロークからなる文字があるが、文字認識処理手段１７は、それまでに入力されたストロークのデータから、文字認識辞書２３を用いて、最適な文字列を認識する。例えば、この認識処理により、それまでに入力されたストロークのうち確かにその文字列が筆記されたと断定できる認識確定文字と、最もそれらしい文字と、筆記途中の文字のストロークとを推定することができる。

ステップＳ１５では、文字認識結果送信処理手段１８によって、ステップＳ１４で得た文字コードを文字入力・編集領域処理手段２１へ送る。

ステップＳ１６では、文字入力・編集領域処理手段２１によって蓄積された文字を表示装置５に表示する。

以上のステップＳ１１〜Ｓ１６を、ストロークの入力が終了するまで、あるいは、それまでに入力された全ての入力ストロークが文字認識処理されるまで繰り返す（ステップＳ１７）。これにより、ユーザが文字の区切りを意識することなく、タブレット４の文字入力領域１２にただ文字を続けて筆記していくだけで、筆跡を文字として認識することができる。

ステップＳ１８はジェスチャ認識処理ステップであり、ジェスチャと判定されたストロークをジェスチャ認識処理手段１９によって、ジェスチャ認識処理するステップである。ステップＳ１８では、それまでに入力されたストロークデータから、ジェスチャ認識辞書２４を用いて、最適なジェスチャを認識し、ジェスチャコードを得る。

ステップＳ１９では、その時点における認識確定されたジェスチャに対応するコマンドがジェスチャ認識辞書２４にあるかを判定する。ジェスチャとして認識されたストロークに対応するコマンドがジェスチャ認識辞書２４に登録されていれば、ジェスチャとして判定しステップＳ２０へ進み、登録されていなければ、ジェスチャとして判定せずステップＳ１４へ進む。この際、ジェスチャ認識処理手段１９にあるストロークの座標データ列を文字認識処理手段１７に移すことによって、文字認識処理を行うステップ１４に移る。

例えば、文字入力領域１２に文字を入力している途中で、あるストロークの後端が文字入力領域１２の外側に出てしまったとき、つまりストロークの最後の座標データが文字入力領域１２の外側のデータとなってしまった場合、そのストロークはジェスチャとして処理されるステップＳ１８に移る。このような場合には最適なジェスチャが存在しない場合があるが、前記したような処理とすることで、文字認識処理（ステップＳ１４）に戻すことにより、文字として再認識することが可能となる。

ステップＳ２０では、ジェスチャ認識結果送信処理手段２０によって、ジェスチャの認識結果をコマンド（例えば、入力内容の確定や一文字後退削除などのコマンド）に変換し、文字入力・編集領域処理手段２１へ送る。

これを受けて、ステップＳ１６では、文字入力・編集領域処理手段２１に送られたコマンドに対応した操作の結果を入力結果表示手段２２によって表示装置５へ表示する。

上記で説明した１ストローク単位で認識処理を行う方式は既知の技術であり、詳細な説明は省略する。１ストローク単位での認識処理の例としては、例えば特開２００２−２０３２０８号に記載されている。

以上のように本実施例においては、入力位置判定処理手段１６においてストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の内側に在ると判定された場合には、ストロークを文字として処理する文字認識処理手段１７へ渡し、一方、ストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の外側に在ると判定された場合には、ストロークをジェスチャとして処理するジェスチャ認識処理手段１９へ渡すように制御することで、手書き文字とジェスチャの入力の区別を行っている。つまり文字入力領域１２とペンダウンとペンアップの座標データの位置関係で判定するようにし、文字またはジェスチャの入力が終わった直後に文字入力なのかジェスチャ入力なのかが判断される。

このようにすることで、ジェスチャを入力するために、タブレット４の別の領域にペンダウンしたり、入力の事前の切替え作業をする必要がなく、文字入力と同様の連続的な動作でスムーズにジェスチャを入力できる。

図５は文字入力領域１２を１文字入力とした場合の入力編集処理の動作例を示す説明図である。タブレット４の座標検出面と表示装置５の表示画面は略同一の大きさで構成されているものとする。

文字入力領域１２は一文字だけ入力する領域として設定されており、ユーザが記入する文字の大きさによって文字入力領域１２の大きさを変更できる。例えば、文字認識プログラムを立ち上げるときに、文字入力領域１２の大きさを選択するためのダイアログボックスが表示され、複数の大きさから一つを選択できるようにしてもよい。

文字入力領域１２には手書き文字を重ね書き入力することができる。例えば“あいう”と入力する場合、“あ”を入力した後でその上に“い”を重ね書きし、さらにその上に“う”を連続して重ね書きしていくことができる。文字“あ”を記入するとき、“あ”は３個のストロークからなる文字であるが、1画目を記入すると長音記号として認識され、表示装置５の文字入力・編集領域１３に“ー”と表示される。“あ”を普通に書くような早さで2画目を記入すると、“さ”と認識され、文字入力・編集領域１３に“さ”と表示される。続けて３画目を記入すると“あ”と認識され、文字入力・編集領域１３に“あ”と表示される。結果として図５（１）に示すような表示結果となる。続けて“い”の１画目を記入すると“し”と認識され、文字入力・編集領域１３に“あし”と表示される。続けて２画目を記入すると“い”と認識され、文字入力・編集領域１３に“あい”と表示さる。続けて“う”を記入する。図６に“あいう”と重ね書きしたときの表示装置５の文字入力・編集領域１３の表示例を示す。

“あいう”に続けて、ここで例えば一文字後退削除のコマンドを意味するジェスチャ“−”を記入しようとするとき、ジェスチャの“−”は長音符号の“ー”と似ており、ジェスチャなのか長音符号なのか形状だけから判定するのは難しい。しかしながら、図５（４）に示すように、本実施例においては、ジェスチャの“−”を記入するとき“−”の一部を文字入力領域１２の外側へ伸ばしてペンアップすればよく、ストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の外側に在ると判定された場合には、そのストロークはジェスチャとして処理される。

手書き入力された“−”がジェスチャとして認識され、一文字削除のコマンドに変換、実行されて、“う”が削除される。結果として、図５（４）に示すように、表示装置５の文字入力・編集領域１３に“あい”と表示される。

手書き文字の“あいう”に続けて、ジェスチャである“−”を入力する場合に、ジェスチャ“−”を手書き文字入力と同じ動作で入力することができ、文字とジェスチャの入力作業の連続性が確保されている。ジェスチャ“−”を例にしたが、他のジェスチャを入力するときも同様であって、ジェスチャを入力するために、タブレット４の別の領域にペンダウンしたり入力の事前の切替え作業をする必要がなく、文字入力と同様の連続的な動作でジェスチャを入力できるので、スムーズにジェスチャ入力作業を行うことができ、たいへん効率がよい。

図７は文字入力領域１２を複数文字入力とした場合の入力編集処理の動作例を示す説明図である。文字入力領域１２を一文字だけ入力するような小さな領域ではなく、複数の文字あるいは文章が記入できるようにタブレット４内に大きく確保している。この場合は複数の文字が入力できるため、図５の実施例のような重ね書き入力ができる設定をする必要はない。

“ストローク”という手書き文字に続けて、ここで例えば入力内容確定のコマンドを意味するジェスチャ“┘”を記入しようとするとき、ジェスチャの“┘”はかぎ括弧の“┘”と似ており、ジェスチャなのかかぎ括弧なのか形状だけから判定するのは難しい。しかしながら、本実施例においては、ジェスチャの“┘”を記入するとき“┘”の一部を文字入力領域１２の外側へ伸ばしてペンアップすればよく、ストロークの最初の座標データが文字入力領域１２の内側にあり、且つストロークの最後の座標データが文字入力領域１２の外側に在ると判定された場合には、ストロークはジェスチャとして処理される。

手書き文字の“ストローク”に続けて、ジェスチャである“┘”を入力する場合に、ジェスチャ“┘”を手書き文字入力と同じ動作で入力することができ、文字とジェスチャの入力作業の連続性が確保されている。図５の場合と同様に、ジェスチャを入力するために、タブレット４の別の領域にペンダウンしたり、入力の事前の切替え作業をする必要がなく、文字入力と同様の連続的な動作でジェスチャを入力できるので、スムーズにジェスチャの入力作業を行うことができ、たいへん効率がよい。

以上のように本実施例においては、タブレット４等の座標入力装置に容易に文字やジェスチャを入力することができる。

本発明の一実施例のハードウェア構成を示す図 本発明の一実施例の機能構成を示すブロック図。 ジェスチャの種類とコマンドの例を示す図。 文字およびジェスチャ認識の手順を示すフローチャート。 文字入力領域を１文字入力とした場合の入力編集処理の動作例を示す説明図。 図５の文字入力領域に重ね書きした場合の表示例を示す図。 文字入力領域を複数文字入力とした場合の入力編集処理の動作例を示す説明図。

符号の説明

１ ＣＰＵ
２ ＲＯＭ
３ ＲＡＭ
４ タブレット
５ 表示装置
６ データ記録再生装置
７ 記憶媒体
８、９、１０ インターフェース
１１ 入力ペン
１２ 文字入力領域
１４ 入力位置検出手段
１５ 入力位置処理手段
１６ 入力位置判定処理手段
１７ 文字認識処理手段
１８ 文字認識結果送信処理手段
１９ ジェスチャ認識処理手段
２０ ジェスチャ認識結果送信処理手段
２１ 文字入力・編集領域処理手段
２２ 入力結果表示手段

Claims (4)

1. 座標入力装置にペン等により入力された座標を検知するための入力位置検出手段と、
   前記入力位置検出手段によって検知された座標系列により生成されたストロークが文字入力領域に在るかを判定するための入力位置判定処理手段と、
   前記入力位置判定処理手段において、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の内側に在ると判定されたときに、前記ストロークを文字として認識するための文字認識処理を行う文字認識処理手段と、
   前記入力位置判定処理手段において、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の外側に在ると判定されたときに、前記ストロークをジェスチャとして認識するためのジェスチャ認識処理を行うジェスチャ認識処理手段と
   を有することを特徴とするジェスチャ認識装置。
2. 前記ジェスチャ認識処理手段におけるジェスチャ認識処理を行う際、前記ストロークをジェスチャと認識するには不十分であると判断した場合に、当該ストロークを前記文字認識処理手段で文字認識処理することを特徴とする請求項１記載のジェスチャ認識装置。
3. 座標入力装置にペン等により入力された座標を検知するための入力位置検出ステップと、
   前記入力位置検出ステップによって検知された座標系列により生成されたストロークが文字入力領域に在るかを判定するための入力位置判定処理ステップと、
   前記入力位置判定処理ステップにおいて、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の内側に在ると判定されたときに、前記ストロークを文字として認識するための文字認識処理を行う文字認識処理ステップと、
   前記入力位置判定処理ステップにおいて、前記ストロークの最初の座標データが前記文字入力領域の内側に在ると判定され、且つ前記ストロークの最後の座標データが前記文字入力領域の外側に在ると判定されたときに、前記ストロークをジェスチャとして認識するためのジェスチャ認識処理を行うジェスチャ認識処理ステップと
   を具備したことを特徴とするジェスチャ認識方法。
4. 前記ジェスチャ認識処理ステップにおけるジェスチャ認識処理を行う際、前記ストロークをジェスチャとして認識するには不十分であると判断した場合に、当該ストロークを前記文字認識処理ステップで文字認識処理することを特徴とする請求項３記載のジェスチャ認識方法。

Images