JP3678388B2 - ペン型入力装置及びペン型入力装置のパターン認識方法 - Google Patents
ペン型入力装置及びペン型入力装置のパターン認識方法 Download PDFInfo
- Publication number
- JP3678388B2 JP3678388B2 JP21976497A JP21976497A JP3678388B2 JP 3678388 B2 JP3678388 B2 JP 3678388B2 JP 21976497 A JP21976497 A JP 21976497A JP 21976497 A JP21976497 A JP 21976497A JP 3678388 B2 JP3678388 B2 JP 3678388B2
- Authority
- JP
- Japan
- Prior art keywords
- axis
- pen
- acceleration
- pattern
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
Description
【発明の属する技術分野】
この発明は図形及び文字等を入力するペン型入力装置及びペン型入力装置のパターン認識方法に関するものである。
【0002】
【従来の技術】
コンピュータ装置等の入力装置としてはキーボード、マウス、デジタイザ、ライトペン及びタブレット等が用いられている。コンピュータ装置の小型化に伴い、携帯端末装置のニーズが高まり利用者も年々増加している。そこで、小型の入力装置が求められるようになった。
【0003】
キーボードの小型化にはヒューマンインターフェイスの点で限界があり、携帯端末装置の入力装置としては実用性が低い。また、マウスはポインティングデバイスとしては小型化が可能であるが、図形及び文字等の入力には適さない。
【0004】
このため、携帯端末装置の入力装置としてはタブレットとペンを用いたペン型の入力装置が多く採用されている。このタブレットを用いたペン型の入力装置をさらに小型化しようとした場合にはタブレットの大きさが問題となる。そこで、例えば特開平6-67799号公報に掲載されたペン型のコンピュータ入力装置では2個の加速度センサからの信号を基に入力装置の移動方向と移動量を調べ、圧電振動ジャイロの信号を基に加速度センサが検出した移動方向及び移動量の入力装置のローテーションによる影響を検出して補正している。
【0005】
また、入力文字の認識に対しては、例えば特開平7-175893号公報に掲載された手書き文字認識装置では、二つのニューラルネットワークを階層的に用い、第一段のニューラルネットワークを大まかな比較に用い、第二段のニューラルネットワークを詳細な比較に用いて、手書き文字の認識を行なうようにしている。
【0006】
【発明が解決しようとする課題】
しかしながら、2個の加速度センサをペン先端部に取り付けることはできず、加速度センサの取付位置とペン先端部の位置は一致しない。このため、特開平6-67799号公報に掲載されたペン型のコンピュータ入力装置では、検出結果に誤差が生じる場合があり、紙面上のペン先端部の軌跡を正確に検出することができない場合がある。
【0007】
さらに、上記誤差が累積することにより、ペン先端部の軌跡を正確に検出することがさらに困難になる。
【0008】
また、特開平7-175893号公報に掲載された手書き文字認識装置では、入力パターンの認識を階層的に用いた二つのニューラルネットワークを用いて行なっているが、文字入力の場合は文字を構成する個々のパターンは同じであっても、文字により前後のパターンが大きく異なる場合が有り、この特徴を用いればさらに正確な文字認識を行なうことができる。
【0009】
この発明はかかる短所を解消するためになされたものであり、センサ出力から直接入力パターンを検出することにより、誤差が累積して入力パターンの判別が困難になることを防止するとともに、正確な文字等の認識を行なうことを目的とする。
【0013】
【課題を解決するための手段】
この発明に係るペン型入力装置は、少なくとも1個の加速度センサと少なくとも1個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向のいずれか1方向、いずれか2方向又は3方向の加速度信号を出力し、回転角速度センサはその数に応じてXs軸周り,Ys軸周り及びZs軸周りのいずれか1軸周り、いずれか2軸周り又は3軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【0014】
さらに、上記データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【0015】
さらに、上記データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【0030】
また、ペン型入力装置のパターン認識方法は、ペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。
【0031】
また、ペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。
【0037】
【発明の実施の形態】
この発明のペン型入力装置は、コンピュータ装置等に文字、記号及び図形等を入力するものあり、特にペン先端部の筆記時の加速度及び回転角速度等の物理量を測定するセンサからの信号を基に直接に入力パターンの検出を行なうことにより検出誤差をなくすものである。
【0038】
ペン型入力装置は、例えばペン型入力部とパターン認識装置を有する。ペン型入力部は少なくとも1個の加速度センサを備える。ペン型入力部が、例えば1個の加速度センサを備える場合は、加速度センサはペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向のいずれか1方向の加速度信号を出力する。また、ペン型入力部が、例えば2個の加速度センサを有する場合は、加速度センサはXs軸方向,Ys軸方向及びZs軸方向のいずれか2方向の加速度信号を出力する。また、ペン型入力部が、例えば3個の加速度センサを有する場合は、各加速度センサはXs軸方向,Ys軸方向及びZs軸方向の加速度信号を出力する。
【0039】
パターン認識部は、データ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を備える。データ前処理部は、例えばAD変換器とデータ切出部を備える。AD変換器は加速度センサからの加速度信号をデジタル変換する。したがって、加速度センサが1個の場合はAD変換器は1個で良く、加速度センサが2個の場合はAD変換器は2個必要であり、加速度センサが3個の場合はAD変換器は3個必要である。データ切出部はAD変換部がデジタル変換した加速度データから入力パターンに対応した加速度データを切り出す。ここで、加速度データの切り出しは、例えば加速度データの値を予め定めた閾値と比較したり、加速度データの微分値を予め定めた閾値と比較したりして行なう。
【0040】
ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。ここで、ウエーブレット変換は基本ウエーブレットと呼ばれている関数に平行移動を施したものと伸縮の操作を施したものとのたたみ込みで定義され、2乗可積分関数とそのフーリエ変換を同時に局所化する特徴を持ち、ウエーブレット級数の係数列の計算に関してリアルタイムなアルゴリズムをつくることができ、事象の生起時刻の情報を容易に扱うことができる。また、ウエーブレット変換では、ある点での関数値を表現するのに必要な項数は他の点での不連続性の程度にあまり影響されない。これは、基底関数が局所化されているためである。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【0041】
ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に認識対象パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共にそれらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部は予め認識させたい情報を実際に入力し、そのデータをサンプリングしこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「1」となり、それ以外のニューロンの出力が「0」となるように、例えば逆伝搬法(バックプロパゲーション法)等で学習しておく。ニューラルネットワーク演算部はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部はニューラルネットワーク演算部の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定して、パターン認識率を高めると同時にパターン認識時間を短縮する。
【0042】
また、ペン型入力部が加速度センサの代わりに少なくとも1個のジャイロを備えるようにしても良い。ペン型入力部が、例えば1個のジャイロを備える場合は、ジャイロはXs軸,Ys軸及びZs軸のいずれか1軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば2個のジャイロを備える場合は、ジャイロはXs軸,Ys軸及びZs軸のいずれか2軸周りの回転角速度信号を出力する。また、ペン型入力部が、例えば3個のジャイロを備える場合は、各ジャイロはXs軸周り,Ys軸周り及びZs軸周りの回転角速度信号を出力する。この場合、パターン認識部はジャイロからの回転角速度信号を基に入力パターンの認識を行なう。
【0043】
さらに、ペン型入力部が少なくとも1個の加速度センサと少なくとも1個のジャイロを備えるようにしても良い。この場合、パターン認識部は加速度センサからの加速度信号及びジャイロからの回転角速度信号を基に入力パターンの認識を行なうので、パターン認識の基となるデータに異なった物理量のデータを用いることができ、さらに正確にパターン認識を行なうことができる。
【0044】
さらに、ペン型入力部が3個の加速度センサと3個のジャイロを備えるようにしても良い。データ前処理部は、例えば初期傾斜角演算部と傾斜角変化演算部と傾斜角演算部と座標変換演算部と移動量演算部を備える。初期傾斜角演算部は無筆記状態で3個の加速度センサが検出した加速度を基にペン軸の傾斜角の初期値を演算する。傾斜角変化演算部は筆記状態で3個のジャイロを用いて検出した回転角速度の積分を行い傾斜角の変化を算出する。傾斜角演算部は初期傾斜角演算部が演算した傾斜角の初期値と傾斜角変化演算部が算出した傾斜角の変化を基に筆記中のペン軸の傾斜角を算出する。座標変換演算部は傾斜角演算部が算出した筆記中のペン軸の傾斜角を基に加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)における加速度に変換し、入力パターンに対応する加速度データの切り出しを行なう。これにより、ペン軸の傾斜による影響をなくすことができ、さらに正確にパターン認識を行なうことができる。
【0045】
さらに、データ前処理部は重力座標系(Xg,Yg,Zg)に変換後の加速度を積分して速度データを求め、ウエーブレット変換部はデータ前処理部からの速度データをウエーブレット変換するようにしても良い。
【0046】
また、上記ニューラルネットワーク演算部の代わりにウエーブレットべーシスのファンクション型ニューラルネットワークを用いたウエーブレットべーシスファンクション型ニューラルネットワーク演算部を有し、ウエーブレットべーシスファンクション型ニューラルネットワーク演算部でデータ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するようにしてウエーブレット変換部を無くしても良い。ここで、ウエーブレットべーシスのファンクション型ニューラルネットワークとは、例えば隠れニューロンの層にウエーブレット変換機能を備えるニューラルネットワークである。
【0047】
ここで、特に文字入力の場合を考えると、上記のようにして認識したパターン(文字の構成パターン)を各文字間で比較した場合、各文字でそのパターンを入力する順番及び前後のパターンが異なる場合が多い。そこで、次ぎに示すように例えばパターンの入力順番毎に参照パターンを記憶し、文字入力の際にパターンの入力回数を計数し、そのパターンの入力順番により参照パターンを切り替えることにより、正確な文字認識を行なうようにしても良い。
【0048】
また、ペン型入力装置は、例えばペン型入力部とパターン認識装置を有するようにしても良い。ペン型入力部は複数個、例えば2個の加速度センサを備える。各加速度センサは、ペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向のいずれか2方向の加速度信号を出力する。パターン認識装置は、例えば信号前処理部と入力回数カウンタと複数の参照パターン記憶部と参照パターン記憶部選択部と比較認識部を有する。信号前処理部は、例えばウエーブレット変換部を備え、ペン型入力部を用いて検出した加速度データから入力パターンに対応した加速度データを切り出し、切り出した加速度データをウエーブレット変換して入力パターンを表わす複数の係数を求める。入力回数カウンタは、信号前処理部からの信号を基にパターンの入力回数を計数する。各参照パターン記憶部はそれぞれパターンの入力回数に応じた複数の参照パターンを記憶する。参照パターン記憶部選択部は入力回数カウンタが計数した入力回数に応じて参照パターン記憶部を選択する。比較認識部は、例えばニューラルネットワーク演算部から成り、信号前処理部からの信号と参照パターン記憶部選択部が選択した参照パターン記憶部に記憶した参照パターンとを比較して、文字入力された場合の文字認識を行なう。
【0049】
また、上記のように筆順を基に文字認識を行なう代わりに、先行パターン又は後続パターンを参照して文字認識を行なうようにしても良い。
【0050】
また、上記のようにニューラルネットワークを用いたり、複数の参照パターンを予め用意する代わりに、例えば標準パターンを描いた場合の標準加速度パターンを複数の標準パターンに対して予め用意し、予め用意した標準加速度パターンと加速度センサを用いて検出した加速度のパターンとをDPマッチングによりマッチングしてパターン認識を行なっても良い。これにより、高精度でパターン認識を行なうことができるとともに用意するパターン数を減少することができる。ここで、DPマッチングとは、動的計画法(Dynamic Programming)を用いて正規化を行なうマッチングであり、標準パターンのデータと検出したデータとの距離を計算して一番距離が短いデータのパターンを認識結果のパターンとするものである。ここで、上記「検出したデータ」としては、速度、加速度、回転角速度及び移動軌跡などがある。
【0051】
【実施例】
図1はこの発明の一実施例のペン型入力装置の構成図である。図に示すように、ペン型入力装置はペン型入力部1とパターン認識装置2を有する。ペン型入力部1は、図2に示すように加速度センサ11a,11b,11cを備える。加速度センサ11a,11b,11cは、それぞれペン軸5をZs軸とした場合の座標系(Xs,Ys,Zs)におけるXs軸方向,Ys軸方向及びZs軸方向に向けて設けられ、Xs軸方向,Ys軸方向及びZs軸方向の加速度を検出する。ここで、加速度センサ11a,11b,11cの取付位置はペン型入力部1の内部でも表面でも良く、また、Xs軸,Ys軸及びZs軸の各軸の運動を測定できる位置であれば、Xs軸,Ys軸及びZs軸の各軸上でなくとも良い。加速度センサ11a,11b,11cは、小型で高感度、かつ、加速度検出の直線性が良好であれば良く、ピエゾ抵抗方式のものでも、圧電方式のものでも、静電容量方式のものでも良い。以下の説明では、特に断わらない限りペン軸5をZs軸とした座標系をペン軸座標系(Xs,Ys,Zs)といい、ペン軸5と直交する2軸をXs軸及びYs軸として説明する。また、重力加速度方向に伸びる軸をZg軸とする座標系を重力座標系(Xg,Yg,Zg)といい、Zg軸と直交する2軸をXg軸及びYg軸という。
【0052】
パターン認識装置2はペン型入力部1からの加速度信号を、例えばケーブルを介して受信してパターン認識を行なうものであり、データ前処理部21、ウエーブレット変換部22a,22b,22c、ニューラルネットワーク演算部23及び後処理部24を備える。データ前処理部21はAD変換器25a,25b,25c及びデータ切出部26を有する。AD変換器25a,25b,25cはそれぞれ加速度センサ11a,11b,11cからの加速度信号をデジタル変換する。データ切出部26はAD変換部25a,25b,25cがデジタル変換した加速度データから入力パターンの加速度データを切り出す。ここで、加速度データの切り出しには、例えば加速度データの値を閾値と比較したり、加速度データの微分値を閾値と比較したりする。
【0053】
ウエーブレット変換部22a,22b,22cはデータ前処理部21が切り出したXs軸方向の加速度データ、Ys軸方向の加速度データ及びZs軸方向の加速度データをそれぞれウエーブレット変換して入力パターンを表わす係数を求める。
【0054】
ニューラルネットワーク演算部23は、図3に示すようなニューラルネットワーク231を備え、ウエーブレット変換部22a,22b,22cが求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。ここで、ニューラルネットワーク演算部23は協調、競合作用及び自己組織化能力に基づいて入力信号をいくつかの特徴に分析すると共に、それらを統合するニューラルネットワークによって構成したものである。例えばニューラルネットワーク演算部23は予め認識させたい情報を実際に入力し、そのデータをサンプリングしてこれらのデータを入力層に入力し、出力層に分類したいパターン数分のニューロンを用意し、各パターンとニューロンを対応させておく。ある情報を入力したときそれに対応するニューロンの出力が「1」となり、それ以外のニューロンの出力が「0」となるように、例えば逆伝搬法(バックプロパゲーション法)等で学習しておく。ニューラルネットワーク演算部23はこのようにして得られた結合係数と同じ結合係数でニューラルネットワーク演算を行なう。後処理部24はニューラルネットワーク演算部23の入力パターンの中間認識結果を基にニューロン出力が最も大きいものを選択し入力パターンを判定する。
【0055】
上記構成のペン型入力装置で入力パターン認識を行なう場合の動作について、図4のフローチャートを参照して説明する。
【0056】
ペン型入力部1の加速度センサ11a,11b,11cはそれぞれXs方向,Ys方向,Zs方向の加速度信号をパターン認識装置2のデータ前処理部21に送信する。データ前処理部21のAD変換器25a,25b,25cは加速度センサ11a,11b,11cからの加速度信号をデジタル変換する。データ前処理部21のデータ切出部26は、例えばAD変換器25a,25b,25cからの加速度信号を微分し、図5に示すように加速度信号Aの微分値のいずれかが予め定めた閾値を越えたると、筆記中と判断してその加速度データを切り出し、Xs軸,Ys軸及びZsの各軸方向の加速度データをそれぞれウエーブレット変換部22a,22b,22cに送る(ステップS1,S2)。ここで、図中Bは上記のようにして加速度データを切り出した範囲を示す。これにより、ウエーブレット変換部22a,22b,22cでは入力パターンに係わる加速度データのみを処理することができる。ここで、データ前処理部21にノイズフィルタなどを設けても良い。また、図5に示すようにデータにオフセット成分があるのは重力加速度による成分である。
【0057】
ウエーブレット変換部22a,22b,22cはそれぞれデータ切出部26が切り出したXs軸方向の加速度、Ys軸方向の加速度及びZs軸方向の加速度を、例えば時間軸及び周波数で規格化する(ステップS3)。例えば加速度を時間軸1秒で規格化し、周波数1Hz,2Hz,4Hz及び8Hzの係数を計算すると、係数は各々1個,2個,4個及び8個得られるので、合計15個になる。加速度はXs軸方向の加速度、Ys軸方向の加速度及びZs軸方向の加速度の3種類あるので、合計して45個の係数を得ることができる。このように、加速度データをウエーブレット変換をして時刻と周波数の同時解析を行なうので、事象の生起時刻の情報を容易に扱うことができる。また、非定常的な部分での局所的な対応が可能になるので、パターンの境界の検出を行なうことができる。
【0058】
ニューラルネットワーク演算部23はウエーブレット変換部22a,22b,22cからの係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する(ステップS4)。後処理部24はニューラルネットワーク演算部23の入力パターン中間認識結果を入力して、入力パターンを判定する(ステップS5)。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。ここで、文字の構成要素の入力があった場合の文字の認識には、例えばパターンマッチング等の方法を用いる。
【0059】
ペン型入力装置1は上記動作(ステップS2〜S5)をデータ切出部26がデータを切り出している間繰り返し、文字等を入力する(ステップS6)。加速度センサ11a,11b,11cからの加速度信号を基にペンの移動方向及び移動距離を求めて、求めた移動方向及び移動距離を基に入力パターン認識を行なうと、ペン先端部6と加速度センサ11a,11b,11cの取付位置の差を原因とする誤差が累積して入力パターンを誤認識することがあったが、このように、加速度センサ11a,11b,11cからの加速度信号を直接に用いて、入力パターンの認識を行なうことにより累積誤差による誤認識の発生を防止できる。
【0060】
ここで、上記実施例では加速度センサ11a,11b,11cを用いたが、入力パターンによっては加速度センサを1個にしたり、2個にしたりしても良い。前記の例では加速度センサが1個の場合のウエーブレット変換後の係数は15個、加速度センサが2個の場合のウエーブレット変換後の係数は30個となる。
【0061】
また、データ前処理部21にデータ切出部26が切り出した加速度データを一時的に記憶するメモリなどを設けても良い。それにより、ニューラルネットワーク演算部23を階層型のニューラルネットワークで構成することができる。また、データ切出部26が切り出した加速度データを一時的に記憶することにより、多くの時系列データを要する入力パターンの認識をできるようになる。
【0062】
また、上記実施例ではXs軸方向、Ys軸方向及びZs軸方向の加速度データ毎にウエーブレット変換部を設けたが、ウエーブレット変換部を1つにして、Xs軸、Ys軸及びZs軸の各軸方向の加速度を順に処理するようにしても良い。
【0063】
また、上記実施例ではXs軸方向、Ys軸方向及びZs軸方向の加速度を検出して、入力パターンの認識を行なったが、加速度センサの代わりに、図6に示すようにジャイロ12a,12b,12cを設けたり、さらに図7に示すように加速度センサ11a,11b,11cとジャイロ12a,12b,12cの双方を設けても良い。加速度センサ11a,11b,11cとジャイロ12a,12b,12cを3個ずつ用いた場合のウエーブレット変換後の係数の数は、前記の例では1信号当たり15個あるので90個となる。ここで、加速度センサ11a,11b,11c及びジャイロ12a,12b,12cの数は入力パターンによっては1個にしたり、2個にしたりしても良い。
【0064】
次ぎに、他の実施例としてペン軸5の傾斜角の影響を無くした加速度データを用いてパターン認識をするペン型入力装置について説明する。ペン型入力装置は、図8に示すようにペン型入力部1bとパターン認識装置2aを有する。ペン型入力部1bはXs軸加速度センサ11a、Ys軸加速度センサ11b、Zs軸加速度センサ11c、Xs軸ジャイロ12a、Ys軸ジャイロ12b及びZs軸ジャイロ12cを備える。Xs軸加速度センサ11a、Ys軸加速度センサ11b、Zs軸加速度センサ11c、Xs軸ジャイロ12a、Ys軸ジャイロ12b及びZs軸ジャイロ12cはそれぞれXs軸方向の加速度、Ys軸方向の加速度、Zs軸方向の加速度、Xs軸周りの回転角速度、Ys軸周りの回転角速度及びZs軸周りの回転角速度を示す信号を出力する。
【0065】
パターン認識装置2aはデータ前処理部21a、ウエーブレット変換部22及びニューラルネットワーク演算部23を備える。データ前処理部21aはAD変換器25a〜25f、ローパスフィルタ(以下「LPF」という。)27a〜27f、筆記状態判別部28、初期傾斜角演算部29、傾斜角変化演算部30、傾斜角演算部31及び座標変換演算部32を有する。AD変換器25a〜25fはそれぞれXs軸加速度センサ11a、Ys軸加速度センサ11b、Zs軸加速度センサ11c、Xs軸ジャイロ12a、Ys軸ジャイロ12b及びZs軸ジャイロ12cからの加速度信号及び回転角速度信号をデジタル変換する。LPF27a〜27fはAD変換器25a〜25fがデジタル変換した加速度信号及び回転角速度信号からペン先端部6と筆記面との摩擦力により生じる高周波成分を遮断する。筆記状態判別部28は、例えばハイパスフィルタ(以後、「HPF」という。)を備え、AD変換器25a〜25fがデジタル変換した加速度信号及び回転角速度信号からペン先端部6と筆記面との摩擦力により生じる高周波成分を検出すると筆記状態と判別する。
【0066】
初期傾斜角演算部29は無筆記状態で3個の加速度センサ11a,11b,11cが検出したペン軸座標系(Xs,Ys,Zs)での加速度を基にペン軸5の傾斜角の初期値θ0,φ0及びΨ0を演算する。傾斜角変化演算部30は筆記状態で3個のジャイロ12a,12b,12cが検出した回転角速度P,Q,Rを基にペン軸5の傾斜角の変化Δθ,Δφ及びΔΨを演算する。ここで、傾斜角変化演算部30はΨ0をゼロとして傾斜角の変化Δθ,Δφ及びΔΨを算出する。傾斜角演算部31は初期傾斜角演算部29が演算したペン軸5の傾斜角の初期値θ0,φ0及びΨ0と傾斜角変化演算部30が演算したペン軸5の傾斜角の変化Δθ,Δφ及びΔΨを基に、筆記中のペン軸5の傾斜角θ,φ及びΨを求める。座標変換演算部32は傾斜角演算部31が検出した筆記中のペン軸5の傾斜角θ,φ及びΨと加速度センサ11a,11b,11cが検出したペン軸座標系(Xs,Ys,Zs)による加速度を基に重力座標系(Xg,Yg,Zg)による加速度を算出する。
【0067】
ここで、上記傾斜角の算出について説明する。重力座標系(Xg,Yg,Zg)からペン軸座標系(Xs,Ys,Zs)への変換は、次式により行うことができる。
【0068】
【数1】
【0069】
この式をペン軸座標系(Xs,Ys,Zs)から重力座標系(Xg,Yg,Zg)への変換式に変形すると、次に示すようになる。
【0070】
【数2】
【0071】
上記式を一時的な近似式で近似して加速度ベクトルの変換式とする。ここで、Axs,Ays及びAzsはペン軸座標系(Xs,Ys,Zs)における加速度センサ11a,11b,11cが検出した加速度ベクトルであり、Axg,Ayg,Azgは重力座標系(Xg,Yg,Zg)における加速度ベクトルである。
【0072】
【数3】
【0073】
上記一時的な近似式に加速度ベクトルAxs,Ays,Azs及び傾斜角θ,φ,Ψを代入すると筆記面上での加速度ベクトルAxg,Ayg,Azgが求まる。
【0074】
一方、静止状態の加速度は次式で表わすことができる。
【0075】
【数4】
【0076】
これを代入して、加速度センサ11a,11b,11cで検出する加速度を次式で表わすことができる。
【0077】
【数5】
【0078】
このように、静止状態のペン軸5の重力座標系(Xg,Yg,Zg)における傾斜角θ0,φ0,Ψ0を求めることができる。
【0079】
ここで、静止状態の回転角θ0,φ0に対して3本の方程式を立てることができるので、重力加速度gについても未知数として取り扱うことができ、gの値を定義しなくとも静止状態の傾斜角θ0,φ0の絶対値を算出することができる。
【0080】
ペン軸座標系(Xs,Ys,Zs)の各軸Xs,Ys,Zsの回転角速度をP,Q,Rとすると、回転角速度P,Q,Rと傾斜角変化ΔΨ,Δθ,Δφの関係は次の式で求めることができる。
【0081】
【数6】
【0082】
これにより、各時間での傾斜角Ψ,θ,φを求めることができる。
【0083】
ウエーブレット変換部22はデータ前処理部21aが座標変換して切り出した加速度データをウエーブレット変換により規格化して、入力パターンを表わす複数の係数を求める。ニューラルネットワーク演算部23はウエーブレット変換部21aが求めた係数を基に入力した入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出する。後処理部24はニューラルネットワーク演算部23の入力パターンの中間認識結果を基に最もニューロンが大きいものを選択し入力パターンを判定する。
【0084】
上記構成のペン型入力装置の動作を、図9のフローチャートを参照して説明する。
【0085】
加速度センサ11a,11b,11cはそれぞれXs軸方向,Ys軸方向,Zs軸方向の加速度を検出する。筆記状態判別部28はAD変換器25a〜25fを介して入力した加速度センサ11a,11b,11c及びジャイロ12a,12b,12cからの信号の高周波成分を抽出して、筆記中であるか否かを示す信号を出力する。このように、ペン先端部6と筆記面との摩擦力により生じる高周波信号を検出して筆記中か否かを判断するので、容易かつ正確に筆記中であるか否かを検出できる。
【0086】
初期傾斜角演算部29は筆記状態判別部28から筆記中でないことを示す信号を受けると、Xs軸加速度センサ11a、Ys軸加速度センサ11b及びZs軸加速度センサ11cからそれぞれ加速度信号を入力し、ペン軸5の傾斜角の初期値θ0,φ0及びΨ0を算出する(ステップS11、S12)。傾斜角変化演算部30は筆記状態判別部28から筆記中であることを示す信号を受けると(ステップS11)、3個のジャイロ12a,12b,12cが検出した回転角速度P,Q,Rを基にペン軸5の傾斜角の変化Δθ,Δφ及びΔΨを演算する(ステップS13)。
【0087】
傾斜角演算部31は、上記のように初期傾斜角演算部29が演算したペン軸5の傾斜角の初期値θ0,φ0,Ψ0と傾斜角変化演算部30が演算したペン軸5の傾斜角の変化Δθ,Δφ,ΔΨを基に、φ=φ0+Σ(Δφ)dt,θ=θ0+Σ(Δθ)dt,Ψ=Ψ0+Σ(ΔΨ)dtを計算して筆記中のペン軸5の傾斜角θ,φ,Ψを求める(ステップS14)。座標変換演算部32は傾斜角演算部31が算出した筆記中の傾斜角θ,φ,Ψを基に加速度センサ11a,11b,11cを用いて検出したペン軸座標系(Xs,Ys,Zs)の加速度Axs,Ays,Azsを重力座標系(Xg,Yg,Zg)による加速度Axg,Ayg,Azgに変換する(ステップS15)。なお、ペン軸座標系(Xs,Ys,Zs)の加速度Axs,Ays,Azsを重力座標系(Xg,Yg,Zg)による加速度Axg,Ayg,Azgに変換するには既に説明した変換式を用いる。これにより、ペン軸5に傾斜による影響をなくすことができる。また、筆記状態判別部28で筆記状態か否かを判別するので座標変換演算部32では、筆記中のパターンに係わる加速度データを切り出すことができる。
【0088】
ウエーブレット変換部22はデータ前処理部21aが座標変換及び切り出しした加速度データをウエーブレット変換して入力パターンを表わす係数を求める(ステップS16)。ニューラルネットワーク演算部23はウエーブレット変換部22が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴を基に入力パターンの中間認識結果を算出する(ステップS17)。後処理部24はニューラルネットワーク演算部23の入力パターン中間認識結果を入力して、入力パターンを判定する(ステップS18)。これにより、文字、図形及びその構成要素を入力することができると共に、正確且つ迅速に入力パターンを認識することができる。
【0089】
ペン型入力装置は上記動作(ステップS13〜S18)を筆記状態判別部28が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する(ステップS19)。このように、ペン型入力装置の重力座標系(Xg,Yg,Zg)における傾斜による影響を無くすことにより正確に図形等のパターンを入力することができる。
【0090】
ここで、上記実施例ではウエーブレット変換部22とニューラルネットワーク演算部23を別々に設けたが、例えば図10に示すように、例えば隠れニューロンの層232bにウエーブレットファンクションを備えるウエーブレットベーシスファンクション型ニューラルネットワーク232を備えるウエーブレットベーシスファンクション型ニューラルネットワーク演算部を用いて両者を一つにまとめても良い。ウエーブレットベーシスファンクション型ニューラルネットワーク演算部の学習には、例えば最急降下法等を用いる。ここで、最急降下法とはエネルギ関数が最も急勾配に減少する方向へ重みを変化させる方法である。
【0091】
また、実施例ではデータ前処理部21aで加速度センサ11a,11b,11cを用いて検出したペン軸座標系(Xs,Ys,Zs)による加速度データを重力座標系(Xg,Yg,Zg)における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行なったが、加速度センサ11a,11b,11cを用いて検出したペン軸座標系(Xs,Ys,Zs)による加速度データを重力座標系(Xg,Yg,Zg)における加速度データに変換する座標変換部を設けてこの処理をデータ前処理部21aから分離しても良い。
【0092】
さらに、データ前処理部21aでは重力座標系(Xg,Yg,Zg)に変換後の加速度データを積分して速度データを求め、求めた速度データから入力パターンに対応する加速度データの切り出しを行うようにしても良い。これにより、ウエーブレット変換部22で扱うデータ数を減らして、処理を高速化できる。
【0093】
さらに、データ前処理部21aで座標変換後の加速度を基にペン先端部6の移動方向及び移動距離を求め、ペン先端部6の移動方向及び移動距離からペン先端部6の座標を求めて入力パターンを描くペン先端部6の座標データの切り出しを行ないデータ数を減らした後に、切り出した座標データをウエーブレット変換部22でウエーブレット変換して入力パターンを表わす係数を求めるようにして、さらにニューラルネットワーク演算の負荷を軽くしても良い。
【0094】
さらに、上記実施例ではいずれも、個々のパターン認識の精度を向上するようにしているが、以下に示すように文字認識の場合は各パターン間の関連を検出することによりさらにパターン認識の精度を向上できる。
【0095】
ペン型入力装置は、例えば図11に示すようにペン型入力部1cとパターン認識装置2bを有する。ペン型入力部1cは加速度センサ11a,11bを備える。各加速度センサ11a,11bは、例えばXs軸方向及びYs軸方向の加速度を示す信号を出力する。パターン認識装置2bは、例えば複数の参照パターン記憶部33a〜33n、信号前処理部34、入力回数カウンタ35、参照パターン記憶部選択部36及び比較認識部37を備える。参照パターン記憶部33a〜33nはそれぞれ入力回数毎に分けられ、その入力回数に応じた複数の参照パターンを記憶する。信号前処理部34は、例えばAD変換器341,342及びウエーブレット変換部343を備える、AD変換器341,342は加速度センサ11a,11bからの加速度信号をデジタル変換する。ウエーブレット変換部343343は、AD変換部341、342でデジタル変換した加速度信号をウエーブレット変換して入力パターンを表わす係数を求める。入力回数カウンタ35は信号前処理部34からの信号を基にパターンの入力回数を計数する。参照パターン記憶部選択部36は、入力回数カウンタ35からの入力回数を示す信号を基にその入力回数に対応した参照パターンを記憶した参照パターン記憶部33a〜33nを選択する。比較認識部37は、例えばニューラルネットワーク演算又は決定木アルゴリズムを用いて、信号前処理部34からの入力パターンを表す係数等と参照パターン記憶部選択部36が選択した参照パターン記憶部33a〜33nに記憶した参照パターンとを比較し、入力文字の認識を行なう。
【0096】
上記構成のペン型入力装置の動作について、図12のフローチャートを参照して説明する。
【0097】
文字の筆記入力を開始すると、信号前処理部34はペン型入力部1cの加速度センサ11a,11bから入力パターンを示す加速度信号を読み込み(ステップS21)、デジタル変換及びウエーブレット変換等の前処理を行なう(ステップS22)。例えば文字「一」と文字「右」と文字「左」を描くと、それぞれの文字を示す加速度信号をウエーブレット変換して得たウエーブレット係数は、図13(a)、図13(b)及び図13(c)に示すようになる。入力回数カウンタ35は、信号前処理部34が前処理を行なった結果を入力し、パターンの入力回数をカウントアップする(ステップS23)。参照パターン記憶部選択部36は、参照パターン記憶部33a〜33nの中から入力回数カウンタ35の計数値に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部33a〜33nを選択する(ステップS24)。比較認識部37は信号前処理部34が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部36が選択した参照パターン記憶部33a〜33nに記憶した参照パターンとを比較して、入力文字の認識を行なう(ステップS25,S26)。ここで、各参照パターン記憶部33a〜33nには、図14に示すように入力回数に応じた複数の参照パターン331が記憶されている。例えば文字「右」と文字「左」を描くと、その筆順は、それぞれ図15(a)及び図15(b)に示すようになっているので、文字「右」の第二ストロークは文字「左」の第一ストロークと同じパターンを構成している。したがって、このパターンを、例えば第一ストロークに対する参照パターンを記憶した参照パターン記憶部33aと、第二ストロークに対する参照パターンを記憶した参照パターン記憶部33bに記憶し、第二ストロークの場合は入力パターンを参照パターン記憶部33bに記憶した参照パターンと比較し、このパターンが第二ストロークに表れたことを検出することにより、ユーザが文字「左」ではなく文字「右」を入力していることが分かる。ここで、第二ストロークにおいて、このパターンと同じパターンを有する文字が複数ある場合は、同様の処理を次ぎのパターンで繰り返して候補となる文字を絞り込むことにより、入力文字を認識する。
【0098】
また、上記のように筆順を中心に文字判別を行なう代わりに、前後の入力パターンとの関係を基に入力文字の認識を行なうようにしても良い。
【0099】
ペン型入力装置は、例えば図16に示すようにペン型入力部1cとパターン認識装置2cとを備える。パターン認識装置2cは複数の参照パターン記憶部33a〜33n、先行パターン記憶部38、信号前処理部34、参照パターン記憶部選択部36及び比較認識部37を有する。各参照パターン記憶部33a〜33nは、先行パターン毎に分けられそれぞれ先行パターンに応じた複数の参照パターンを記憶する。先行パターン記憶部38は前回入力したパターンの認識結果を記憶する。参照パターン記憶部選択部36は先行パターン記憶部38に記憶した前回入力したパターンを基に参照パターン記憶部33a〜33nの中から一つを選択する。
【0100】
上記構成のペン型入力装置の動作を、図17のフローチャートを参照して説明する。
【0101】
既に説明したように文字の筆記入力を開始すると、信号前処理部34はペン型入力部1cの加速度センサ11a,11bから入力パターンを示す加速度信号を読み込み(ステップS31)、デジタル変換及びウエーブレット変換等の前処理を行なう(ステップS32)。参照パターン記憶部選択部36は、先行パターン記憶部38から前回入力したパターンの認識結果を読み出し(ステップS33)、参照パターン記憶部33a〜33nの中から前回入力したパターンの認識結果に対応した入力回数に対する参照パターンを記憶した参照パターン記憶部33a〜33nを選択する(ステップS34)。比較認識部37は信号前処理部34が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部36が選択した参照パターン記憶部33a〜33nに記憶した参照パターンとを比較して、入力文字の認識を行なう(ステップS35,S36)。また、比較認識部37は、パターンの認識結果を先行パターン記憶部38に記憶して、次ぎのパターンにおいての認識動作の準備をする(ステップS37)。このように過去のパターン入力を参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【0102】
さらに、上記のようにして入力文字の認識を行なった後に、その認識結果を参照パターン記憶部33a〜33nに記憶し、次ぎに同じ文字を入力する場合にさらに簡単に認識できるようにしても良い。
【0103】
また、上記実施例では前回入力したパターンを参照して、参照パターン記憶部33a〜33nを選択したが、文字認識対象パターンの次ぎに入力するパターンを参照して参照パターン記憶部33a〜33nを選択するようにしても良い。
【0104】
この場合、図18に示すようにペン型入力装置のパターン認識装置2dは、例えば参照パターン記憶部33a〜33n、信号前処理部34、入力パターンバッファ39、後続入力読取部40、後続パターン認識結果記憶部43、参照パターン記憶部選択部36及び比較認識部37を備える。各参照パターン記憶部33a〜33nは、後続のパターン毎に分けられそれぞれ後続パターンに応じた複数の参照パターンを記憶する。入力パターンバッファ39は、文字認識対象のパターンを示す加速度信号の前処理結果を記憶する。後続入力読取部40は、例えば後続参照パターン記憶部41と後続パターン比較認識部42を有する。後続参照パターン記憶部41は文字認識対象パターンの次ぎのパターンを認識する際に用いる参照パターンを記憶する。後続パターン比較認識部42は、文字認識対象パターンの次ぎのパターンを信号前処理部34を介して読み込み、後続参照パターン記憶部41に記憶した参照パターンと比較してパターン認識を行なう。後続パターン認識結果記憶部43は、後続パターン比較認識部42による後続パターンの認識結果を記憶する。参照パターン記憶部選択部36は、後続パターン認識結果記憶部43に記憶したパターンの認識結果に応じて参照パターン記憶部33a〜33nを選択する。比較認識部37は、例えばニューラルネットワーク演算部371を備え、信号前処理部34で処理した後の加速度信号のパターンと参照パターン記憶部選択部36が選択した参照パターン記憶部33a〜33nに記憶した参照パターンとを比較して、文字認識を行なう。
【0105】
この場合のペン型入力装置の動作について、図19のフローチャートを参照して説明する。
【0106】
既に説明したように文字の筆記入力を開始すると、信号前処理部34はペン型入力部1cの加速度センサ11a,11bから入力パターンを示す加速度信号を読み込み(ステップS41)、前処理を行なう(ステップS42)。信号前処理部34は前処理を行なった結果を入力パターンバッファ39に記憶する(ステップS43)。これにより、次ぎに後続のパターンを示す信号を入力しても、文字認識対象パターンに対する処理が終了するまで、文字認識対象パターンを示す信号を保持することができる。
【0107】
この後、後続パターン比較認識部42は信号前処理部34を介して、後続パターンを示す加速度信号を入力する(ステップS44,S45)。後続パターン比較認識部42は、入力した後続パターンを示す加速度信号のパターンと後続参照パターン記憶部41に記憶した参照パターンとを比較して後続パターンの認識を行ない、認識結果を後続パターン認識結果記憶部43に記憶する(ステップS46)。このように、後続パターンの認識結果を後続パターン認識結果記憶部43に記憶することにより、先行パターンを用いる場合と同様に、後続パターンを基に参照パターン記憶部33a〜33nを選択することができる。
【0108】
参照パターン記憶部選択部36は、後続パターン認識結果記憶部43から後続パターンの認識結果を読み出し、参照パターン記憶部33a〜33nの中から後続パターンの認識結果に対応した参照パターン記憶部33a〜33nを選択する(ステップS47)。比較認識部37は信号前処理部34が前処理を行なった後の入力パターンを示す信号と参照パターン記憶部選択部36が選択した参照パターン記憶部33a〜33nに記憶した参照パターンとを比較して、入力文字の認識を行なう(ステップS48,S49)。このように後続パターンを参照して入力文字の認識を行なうことにより、さらに正確に入力文字の候補の絞り込みを行なうことができ、正確な入力文字の認識を行なうことができる。
【0109】
また、上記実施例では参照パターン記憶部33a〜33nを切り替えて、入力文字の認識を行なったが、パターンの入力順などに応じた認識を行なう複数のパターン認識部を切り替えるようにしても良い。
【0110】
ペン型入力装置は、例えば図20に示すように信号前処理部34、パターン認識部44a〜44n、入力回数カウンタ35及び認識部選択部45を備えるパターン認識装置2eを有する。各パターン認識部44a〜44nは、参照パターン記憶部33a〜33n及び比較認識部37a〜37nを備え、それぞれパターンの入力回数に対応した入力文字認識を行なう。例えばパターン認識部44aは入力パターンが第1回目のストロークである場合の文字認識を行ない、パターン認識部44bは入力パターンが第2回目のストロークである場合の文字認識を行なう。認識部選択部45は入力回数カウンタ35の計数値に応じてパターン認識部44a〜44nを選択して、選択したパターン認識部44a〜44nの認識結果を出力する。このように、複数のパターン認識部44a〜44nにより同時に処理することにより、パターンの認識処理の効率を高めることができる。ここで、各比較認識部37a〜37n、例えば異なった構造のニューラルネットワーク演算部を備えるようにしても良い。例えばバリエーションの大きい第1回目のストロークに対しては大きな中間層を持つニューラルネットワーク演算部を用い、バリエーションの小さい他のストロークに対しては中間層の小さいニューラルネットワーク演算部を用いるようにしても良い。
【0111】
また、上記実施例ではパターンの入力順を基にパターン認識部44a〜44nを選択したが、例えば図21に示すように信号前処理部34、パターン認識部44a〜44n、認識部選択部45及び先行パターン記憶部38を備えるパターン認識装置2fを用いて先行パターンを基にパターン認識部44a〜44nを選択するようにしても良い。
【0112】
また、ペン型入力装置は、例えば図22に示すように信号前処理部34、パターン認識部44a〜44n、後続入力読取部40、後続パターン認識結果記憶部43及び認識部選択部45を備えるパターン認識装置2gを用いて後続パターンを基にパターン認識部44a〜44nを選択するようにしても良い。
【0113】
また、前記実施例ではウエーブレット変換部22a,22b,22c及びニューラルネットワーク演算部23を用いてパターン認識を行なったが、図23に示すようにDPマッチング部47を備え、DPマッチング部47でDPマッチングを行なうことにより、パターン認識を行なうようにしても良い。
【0114】
ペン型入力部1は、例えば図5に示すようなアナログ信号Aを出力する。AD変換器25a,25b,25cはこのペン型入力部1が出力したアナログ信号をデジタル変換する。データ切出部26はこの信号から認識したいパターンに対応する部分を切り出す。このデータ切出部26の切り出しには、例えばデジタル変換して得たデータの値又はその微分値の閾値で判断する。加速度センサ11a,11b,11cからの出力信号は重力の影響でオフセットを持っており、その値は一定ではないので微分値の閾値で判断すると特に有効である。
【0115】
標準パターン記憶部46は複数の標準パターン各々に対する標準加速度パターンを記憶する。ここで、標準パターンとは、例えば第一水準の漢字等のパターンをいう。DPマッチング部47はデータ切出部26が切り出した加速度データのパターンと標準パターン記憶部46に記憶した標準加速度パターンとをDPマッチング行ない、ペン先端部6の移動パターンを認識する。ここで、上記DPマッチングにおいては加速度データのパターンと標準パターン記憶部46に記憶した各標準加速度パターンとの距離を算出し、その距離が最小の標準加速度パターンに対応するパターンが入力パターンであると判断する。この場合、加速度センサが複数あるので、DPマッチング部47ではそれぞれの加速度データに対して距離の算出を行ない、その平均を求めることによって、入力パターンの判断を行なう。ここで、認識するパターンは文字だけでなく図形又は文字の構成要素等であっても良い。文字の構成要素の場合は構成要素の認識結果を順次得ることができるので、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。
【0116】
上記実施例では加速度センサ11a,11b,11cが出力した加速度信号を基にパターン認識を行なったが、ペン型入力部1aがXs軸周りのジャイロ12a,Ys軸周りのジャイロ12b及びZs軸周りのジャイロ12cを備え、加速度信号の代わりに各ジャイロ12a,12b,12cからの回転角速度信号を基にパターン認識を行なうようにしても良い。この場合、標準パターン記憶部46は複数の標準パターン各々に対する標準回転角速度パターンを記憶し、DPマッチング部47はジャイロ12a,12b,12cからの回転角速度信号のパターンと標準パターン記憶部46に記憶した各標準回転角速度パターンとをDPマッチング行ない、ペン先端部6の筆記軌跡のパターンを認識する。
【0117】
さらに、Xs軸ジャイロ12a,Ys軸ジャイロ12b及びZs軸ジャイロ12cを備えるペン型入力部1aの代わりに、Xs軸方向の加速度センサ11a,Ys軸方向の加速度センサ11b、Zs軸方向の加速度センサ11c、Xs軸周りのジャイロ12a,Ys軸周りのジャイロ12b及びZs軸周りのジャイロ12cを備えるペン型入力部1bを用いてを良い。この場合、標準パターン記憶部46は複数の標準パターン各々に対する標準加速度パターン及び標準回転角速度パターンを記憶する。DPマッチング部47は加速度センサ11a,11b,11c及びジャイロ12a,12b,12cからの加速度信号のパターン及び回転角速度信号のパターンと標準パターン記憶部46に記憶した各標準加速度パターン及び各標準回転角速度パターンとを、既に複数の加速度センサを備える場合の例で説明したようにしてDPマッチング行ない、ペン先端部6の筆記軌跡のパターンを認識する。ここで、加速度センサ及びジャイロの数は認識しようとするパターンに応じて少なくしても良い。
【0118】
さらに、図24に示すようにデータ前処理部21aが、AD変換部25a〜25f、HPF48a〜48f、LPF27a〜27f、筆記状態判別部28、初期傾斜角演算部29、傾斜角変化演算部30、傾斜角演算部31及び座標変換演算部32を備え、既に説明したように加速度センサ11a,11b,11cからの出力を基に検出したペン軸座標系(Xs,Ys,Zs)のXs軸方向、Ys軸方向及びZs軸方向の加速度Axs,Ays,Azsを重力座標系(Xg,Yg,Zg)における加速度Axg,Ayg,Azgに変換した後に出力するようにしても良い。標準パターン記憶部46は、複数の標準パターン各々に対する重力座標系(Xg,Yg,Zg)での標準加速度パターンを記憶し、DPマッチング部47は座標変換演算部32が座標変換した加速度信号のパターンと標準パターン記憶部46に記憶した各標準加速度パターンとをDPマッチング行ない、ペン先端部6の移動パターンを認識する。ここで、図では以前の実施例と異なりHPF48a〜48fを筆記状態判別部28の外部に設けている。
【0119】
上記構成のペン型入力装置の動作について、図25のフローチャートを参照して説明する。
【0120】
加速度センサ11a,11b,11c及びジャイロ12a,12b,12cはそれぞれXs軸方向,Ys軸方向,Zs軸方向の加速度及びXs軸周り,Ys軸周り,Zs軸周りの回転角速度を示す信号を出力する。データ前処理部21aのHPF48a〜48fはデジタル変換後の加速度センサ11a,11b,11c及びジャイロ12a,12b,12cからの信号から高周波数成分を抽出する。筆記状態判別部28はHPF48a〜48fを介して入力した加速度センサ11a,11b,11c及びジャイロ12a,12b,12cからの信号のいずれかに高周波成分が含まれているか否かを調べて、高周波数成分が含まれている場合には筆記中と判断し、筆記中であるか否かを示す信号を出力する。初期傾斜角演算部29は、既に説明したように筆記状態判別部28から筆記中でないことをを示す信号を受けると、Xs軸加速度センサ11a、Ys軸加速度センサ11b及びZs軸加速度センサ11cからの信号を入力し、ペン軸5の傾斜角の初期値θ0,φ0及びΨ0を算出する(ステップS51、S52)。
【0121】
傾斜角変化演算部30は、既に説明したように筆記状態判別部28から筆記中であることを示す信号を受けると(ステップS51)、3個のジャイロ12a,12b,12cが検出した回転角速度P,Q,Rを基にペン軸5の傾斜角の変化Δθ,Δφ及びΔΨを演算する(ステップS53)。傾斜角演算部31は、既に説明したように初期傾斜角演算部29が演算したペン軸5の傾斜角の初期値θ0,φ0,Ψ0と傾斜角変化演算部30が演算したペン軸5の傾斜角の変化Δθ,Δφ,ΔΨを基に筆記中のペン軸5の傾斜角θ,φ,Ψを求める(ステップS54)。座標変換演算部32は傾斜角演算部31が検出した筆記中の傾斜角θ,φ,Ψを基に加速度センサ11a,11b,11cが検出したペン軸座標系(Xs,Ys,Zs)の加速度Axs,Ays,Azsを重力座標系(Xg,Yg,Zg)による加速度Axg,Ayg,Azgに変換する(ステップS55)。筆記状態判別部28で筆記状態か否かを判別するので座標変換演算部32では、筆記中のパターンに係わる加速度データを切り出すことができる。
【0122】
DPマッチング部47はデータ前処理部21aが座標変換及び切り出し処理をした加速度データが示すパターンを標準パターン記憶部に記憶した各標準加速度パターンとDPマッチングをしてペン先端部6が描いたパターンの認識を行なう(ステップS56)。
【0123】
ペン型入力装置は上記動作(ステップS53〜S56)を筆記状態判別部28が筆記中であることを示す信号を出力している間繰り返し、図形等を入力する(ステップS57)。ここで、既に説明したように認識したパターンが文字の構成要素の場合は構成要素の認識結果を順次記憶し、さらにこれら文字の構成要素と辞書等とのマッチングをとって文字の認識を行なう。このように、3個の加速度センサ11a,11b,11c及び3個のジャイロ12a,12b,12cを用いて検出した加速度及び回転角速度を用いるのでペン軸の傾斜による影響の無い加速度を用いて正確にパターン認識できるとともに、重力座標系(Xg,Yg,Zg)に変換した後の加速度を用いてDPマッチングを行なうので、データの件数を少なくし、マッチング処理を高速化することができる。
【0124】
また、上記実施例では重力座標系(Xg,Yg,Zg)に変換した後の加速度を用いてDPマッチングを行なったが、重力座標系(Xg,Yg,Zg)に変換した後の加速度を1回積分して速度を求め、重力座標系におけるペン先端部6の速度を用いてDPマッチングするようにしても良い。
【0125】
さらに、重力座標系(Xg,Yg,Zg)に変換した後の加速度を2回積分して移動方向及び移動距離を検出し、検出した移動方向及び移動量からペン先端部6の筆記軌跡を求め、ペン先端部6の筆記軌跡を用いてDPマッチングするようにしても良い。
【0126】
なお、これまでの実施例ではいずれもペン型入力部1とパターン認識装置2とを別々に設けたが、パターン認識装置2をペン型入力部1内部に組み込んでも良い。
【0127】
【発明の効果】
以上説明したように、この発明に係るペン型入力装置は、少なくとも1個の加速度センサと少なくとも1個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、加速度センサはその数に応じてペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向のいずれか1方向、いずれか2方向又は3方向の加速度信号を出力し、回転角速度センサはその数に応じてXs軸周り,Ys軸周り及びZs軸周りのいずれか1軸周り、いずれか2軸周り又は3軸周りの回転角速度信号を出力し、データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して、ペン軸の傾斜による影響をなくす。
【0128】
さらに、データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求めて、ペン軸の傾斜による影響をなくす。
【0129】
また、データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定して構成を簡単にする。
【0130】
また、別の発明に係るペン型入力装置のパターン認識方法は、ペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定する。よって、ペン軸の傾斜による影響をなくし、高精度のパターン認識を行なうことができる。
【0131】
また、ペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、入力パターンに対応した速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める。よって、ニューラルネットワーク演算の負担を軽くできる。
【図面の簡単な説明】
【図1】ペン型入力部とパターン識別装置との接続図である。
【図2】ペン型入力部とパターン識別装置の構成図である。
【図3】ニューラルネットワークの構成図である。
【図4】ペン型入力装置の動作を示すフローチャートである。
【図5】加速度信号の波形図である。
【図6】ジャイロを用いたペン型入力部とパターン識別装置の構成図である。
【図7】他のペン型入力部の斜視図である。
【図8】他のペン型入力部とパターン識別装置の構成図である。
【図9】他のペン型入力装置の動作を示すフローチャートである。
【図10】他のニューラルネットワークの構成図である。
【図11】パターン入力順を基に文字認識を行なうパターン認識装置の構成図である。
【図12】パターン入力順を基に文字認識を行なうフローチャートである。
【図13】ウエーブレット係数の変化を示す波形図である。
【図14】参照パターン記憶部の構成図である。
【図15】筆順の説明図である。
【図16】先行パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図17】先行パターンを基に文字認識を行なうフローチャートである。
【図18】後続パターンを基に文字認識を行なうパターン認識装置の構成図である。
【図19】後続パターンを基に文字認識を行なうフローチャートである。
【図20】入力順を基に文字認識結果を切り替えるパターン認識装置の構成図である。
【図21】先行パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図22】後続パターンで認識結果を切り替えるパターン認識装置の構成図である。
【図23】DPマッチングでパターン認識を行なうパターン認識装置の構成図である。
【図24】座標変換後にDPマッチングを行なうパターン認識装置の構成図である。
【図25】座標変換後にDPマッチングを行なう場合のフローチャートである。
【符号の説明】
1 ペン型入力部
11 加速度センサ
12 ジャイロ
2 パターン認識装置
21 データ前処理部
22 ウエーブレット変換部
23 ニューラルネットワーク演算部
24 後処理部
26 データ切出部
28 筆記状態判別部
29 初期傾斜角演算部
30 傾斜角変化演算部
31 傾斜角演算部
32 座標変換演算部
33 参照パターン記憶部
34 信号前処理部
35 入力回数カウンタ
36 参照パターン記憶部選択部
37 比較認識部
38 先行パターン記憶部
39 入力パターンバッファ
40 後続入力読取部
44 パターン認識部
45 認識部選択部
46 標準パターン記憶部
47 DPマッチング部
Claims (5)
- 少なくとも1個の加速度センサと少なくとも1個の回転角速度センサとデータ前処理部とウエーブレット変換部とニューラルネットワーク演算部と後処理部を有し、
加速度センサはその数に応じてペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向のいずれか1方向、いずれか2方向又は3方向の加速度信号を出力し、
回転角速度センサはその数に応じてXs軸周り,Ys軸周り及びZs軸周りのいずれか1軸周り、いずれか2軸周り又は3軸周りの回転角速度信号を出力し、
データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサが出力した回転角速度信号から傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、入力パターンに対応する加速度データの切り出しを行ない、
ウエーブレット変換部はデータ前処理部が切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、
ニューラルネットワーク演算部はウエーブレット変換部が求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、
後処理部はニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定することを特徴とするペン型入力装置。 - 上記データ前処理部は無筆記状態における少なくとも1個の加速度センサからの加速度信号を基にペン軸の傾斜角の初期値を演算し、筆記状態における少なくとも1個の回転角速度センサからの回転角速度信号を基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基に少なくとも1個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)における加速度に変換し、変換した加速度を積分してペン先端部の速度を求め、入力パターンに対応する速度データの切り出しを行ない、ウエーブレット変換部はデータ前処理部が切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める請求項1記載のペン型入力装置。
- 上記データ前処理部が切り出したデータをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出するウエーブレットベーシスファンクション型ニューラルネットワーク演算部を有し、後処理部はウエーブレットベーシスファンクション型ニューラルネットワーク演算部による入力パターンの中間認識結果を基に入力パターンを判定する請求項1又は2に記載のペン型入力装置。
- ペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を算出し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)における加速度データに変換し、変換後の加速度データから入力パターンに対応する加速度データの切り出しを行ない、切り出した加速度データをウエーブレット変換して入力パターンを表わす係数を求め、求めた係数を基に入力 パターンの特徴を抽出し、抽出した入力パターンの特徴と予め学習した結果を基に入力パターンの中間認識結果を算出し、入力パターンの中間認識結果を基に入力パターンを判定することを特徴とするペン型入力装置のパターン認識方法。
- ペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の無筆記状態における加速度データを基にペン軸の傾斜角の初期値を演算し、筆記状態におけるXs軸周り,Ys軸周り及びZs軸周りの回転角速度データを基にペン軸の傾斜角の変化を演算し、演算した傾斜角の初期値と傾斜角の変化を基に筆記中のペン軸の傾斜角を算出し、算出した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)による加速度データを重力座標系(Xg,Yg,Zg)における加速度データに変換し、座標変換した加速度データを積分してペン先端部の速度データを求め、求めた速度データから入力パターンに対応する速度データの切り出しを行ない、切り出した速度データをウエーブレット変換して入力パターンを表わす係数を求める請求項4記載のペン型入力装置のパターン認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21976497A JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28725996 | 1996-10-11 | ||
JP9-162122 | 1996-10-11 | ||
JP8-287259 | 1996-10-11 | ||
JP16212297 | 1997-06-05 | ||
JP21976497A JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1153104A JPH1153104A (ja) | 1999-02-26 |
JP3678388B2 true JP3678388B2 (ja) | 2005-08-03 |
Family
ID=27321956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21976497A Expired - Fee Related JP3678388B2 (ja) | 1996-10-11 | 1997-08-01 | ペン型入力装置及びペン型入力装置のパターン認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3678388B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023179264A1 (zh) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | 隔空输入方法、设备以及*** |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7256773B2 (en) * | 2003-06-09 | 2007-08-14 | Microsoft Corporation | Detection of a dwell gesture by examining parameters associated with pen motion |
TWI305578B (en) * | 2006-11-14 | 2009-01-21 | Ind Tech Res Inst | Method and apparatus of signal processing and an inertia pointing device using thereof |
JP4582116B2 (ja) * | 2007-06-06 | 2010-11-17 | ソニー株式会社 | 入力装置、制御装置、制御システム、制御方法及びそのプログラム |
EP2194443A1 (en) * | 2008-12-04 | 2010-06-09 | Research In Motion Limited | Stroke based input system for character input |
US8648796B2 (en) | 2008-12-04 | 2014-02-11 | Blackberry Limited | Stroke based input system for character input |
CN110134257A (zh) * | 2019-05-09 | 2019-08-16 | 兰州工业学院 | 基于惯性传感器的电子笔及其书写识别模型建立方法 |
JP7507548B2 (ja) * | 2019-08-22 | 2024-06-28 | 三菱鉛筆株式会社 | 筆記具 |
-
1997
- 1997-08-01 JP JP21976497A patent/JP3678388B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023179264A1 (zh) * | 2022-03-25 | 2023-09-28 | 华为技术有限公司 | 隔空输入方法、设备以及*** |
Also Published As
Publication number | Publication date |
---|---|
JPH1153104A (ja) | 1999-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7259756B2 (en) | Method and apparatus for selecting information in multi-dimensional space | |
EP0666544A1 (en) | Gesture input method and apparatus | |
KR100735555B1 (ko) | 동작에 따른 기능을 수행하는 장치 및 방법 | |
KR100668298B1 (ko) | 움직임에 기반한 소리 발생 방법 및 장치 | |
CN108196668B (zh) | 一种便携式手势识别***及方法 | |
JP3678388B2 (ja) | ペン型入力装置及びペン型入力装置のパターン認識方法 | |
KR101849350B1 (ko) | 근전도 센서와 관성센서를 사용한 제스처 인식 기반의 모바일 로봇 제어 시스템 및 방법 | |
US6430308B1 (en) | Handwriting verification device | |
CN114397963A (zh) | 一种手势识别方法、装置、电子设备及存储介质 | |
US10578640B2 (en) | Determination of a mobility context for a user carrying a device fitted with inertial sensors | |
JP3013618B2 (ja) | サイン認識装置 | |
JP3335542B2 (ja) | 手書き文字の照合方法および装置 | |
KR101870542B1 (ko) | 모션 인식 방법 및 장치 | |
Neelasagar et al. | Real time 3D-handwritten character and gesture recognition for smartphone | |
JP3192468B2 (ja) | オンライン手書き文字認識装置及び認識方法 | |
Tuncer et al. | Handwriting recognition by derivative dynamic time warping methodology via sensor-based gesture recognition. | |
JPH07200735A (ja) | 図形認識装置 | |
JPH09244799A (ja) | ペン型入力装置 | |
JP3125432B2 (ja) | 手書き文字認識装置 | |
JPH11102254A (ja) | ペン型入力装置及びペン型入力装置のパターン認識方法 | |
JPH11212717A (ja) | ペン型入力装置 | |
JPH11296292A (ja) | ペン型入力装置及び文字認識方法 | |
CN115631537A (zh) | 基于表面肌电信号的手势识别优化方法、***及终端 | |
KR20190138240A (ko) | 회전 반지름을 이용한 모션 인식 방법 및 장치 | |
CN118192799A (zh) | 智能手语手套翻译***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050509 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080520 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |