JP4033929B2 - ペン型入力装置 - Google Patents

ペン型入力装置 Download PDF

Info

Publication number
JP4033929B2
JP4033929B2 JP15286896A JP15286896A JP4033929B2 JP 4033929 B2 JP4033929 B2 JP 4033929B2 JP 15286896 A JP15286896 A JP 15286896A JP 15286896 A JP15286896 A JP 15286896A JP 4033929 B2 JP4033929 B2 JP 4033929B2
Authority
JP
Japan
Prior art keywords
pen
acceleration
axis
writing
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15286896A
Other languages
English (en)
Other versions
JPH09319510A (ja
Inventor
充 新行内
康弘 佐藤
隆夫 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP15286896A priority Critical patent/JP4033929B2/ja
Priority to US08/803,395 priority patent/US5902968A/en
Publication of JPH09319510A publication Critical patent/JPH09319510A/ja
Priority to US09/141,903 priority patent/US6229102B1/en
Priority to US09/219,603 priority patent/US6084577A/en
Priority to US09/219,765 priority patent/US5981884A/en
Application granted granted Critical
Publication of JP4033929B2 publication Critical patent/JP4033929B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は図形及び文字を入力するペン型入力装置に関するものである。
【0002】
【従来の技術】
コンピュータ装置等の入力装置としてはキーボード、マウス、デジタイザ、ライトペン及びタブレット等が用いられている。コンピュータ装置の小型化に伴い、携帯端末装置のニーズが高まり利用者も年々増加している。そこで、小型の入力装置が求められるようになった。
【0003】
キーボードの小型化にはヒューマンインターフェイスの点で限界があり、携帯端末装置の入力装置としては実用性が低い。また、マウスはポインティングデバイスとしては小型化が可能であるが、図形及び文字等の入力には適さない。
【0004】
このため、携帯端末装置の入力装置としてはタブレットとペンを用いたペン型の入力装置が多く採用されている。このタブレットを用いたペン型の入力装置をさらに小型化しようとした場合にはタブレットの大きさが問題となる。そこで、例えば特開平6-67799号公報に掲載されたペン型のコンピュータ入力装置、特開平7-84716号公報に掲載されたデータ入力装置、特開平7-200127号公報に掲載された手書き入力装置及び特開平6-230886号公報に掲載されたペンシル型入力装置のようなタブレットレスの入力装置が開発された。
【0005】
特開平6-67799号公報に掲載されたペン型のコンピュータ入力装置は加速度センサで移動方向と移動距離を調べ、圧電振動ジャイロで加速度センサが検出した移動方向及び移動距離のペン型のコンピュータ入力装置のローテーションによる影響を補正している。さらに、特開平7-84716号公報に掲載されたデータ入力装置は互いに直角に配置された振動ジャイロからの極性及び振幅を示す信号を基に装置の移動方向及び移動距離を検出している。さらに、特開平7-200127号公報に掲載された手書き入力装置は2個の加速度センサからの信号を基に装置の移動方向及び移動距離を求めている。さらに、特開平6-230886号公報に掲載されたペンシル型入力装置は2組の加速度センサをペン軸上の異なった位置に設け、この2組の加速度センサからの出力を基に加速度センサの取り付け異値による影響を補正したペン先端部の移動方向及び移動距離を求めている。
【0006】
また、ペン型入力装置に関するものでなく、例えばゲーム機に利用され、人体頭部の移動速度、位置、姿勢等を検出するものであるが、特開平7-294240号公報に掲載された位置センサは、X軸方向,Y軸方向及びZ軸方向の加速度を検出する加速度センサとX軸周り,Y軸周り及びZ軸周りの角速度を検出するジャイロを備え、これらが検出した加速度及び角速度基にストラップダウン方式の演算を行って、頭部の移動速度、位置、姿勢及び向きを検出している。
【0007】
【発明が解決しようとする課題】
しかしながら、特開平6-67799号公報に掲載されたペン型のコンピュータ入力装置では、装置のローテーションによる影響を補正するもので、装置がダイナミックな傾斜を伴う場合には補正することができない。通常の筆記動作では装置のダイナミックな傾斜を伴うので、検出結果が不正確になる場合がある。
【0008】
さらに、特開平7-84716号公報に掲載されたデータ入力装置は手首の回転動作を検出して移動方向及び移動距離を入力するものなので、図形等の入力には適さない。
【0009】
さらに、特開平7-200127号公報に掲載された手書き入力装置では、装置の傾斜及び回転に対する補正手段がないため、検出結果が不正確になる場合がある。
【0010】
さらに、特開平6-230886号公報に掲載されたペンシル型入力装置は加速度センサが検出した加速度に装置の回転角に対する成分が含まれていることを考慮していないため移動距離の検出誤差が大きくなる場合がある。
【0011】
また、特開平7-294240号公報に掲載された位置センサは、頭部の移動速度、位置、姿勢及び向きを空間的に検出するものなので、複雑な演算処理を採用しているが、ペン型入力装置では装置の小型化が要求されているため、簡単な演算処理で正確に被筆記面上の移動方向及び移動距離を検出しなければならない。
【0012】
さらに、ペン型入力装置ではペン先端部に3個の加速度センサを設けることはできず、特開平7-294240号公報に掲載された位置センサでは、ペン先端部と加速度センサの取り付け位置の違いによる誤差を補正していないので、正確に筆記入力を検出することができない場合がある。
【0013】
この発明はかかる短所を解消するためになされたものであり、筆記入力を簡単な構成で正確に検出する小型なペン型入力装置を得ることを目的とする。
【0014】
【課題を解決するための手段】
この発明に係るペン型入力装置は、3個の加速度センサと3個のジャイロと演算部を有し、3個の加速度センサはそれぞれペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の加速度を示す信号を出力し、3個のジャイロはそれぞれXs軸周り,Ys軸周り及びZs軸周りの回転角速度を示す信号を出力し、演算部は初期傾斜角演算部と傾斜角変化演算部と筆記中傾斜角演算部と加速度補正部と座標変換演算部と移動量演算部を備え、初期傾斜角演算部は無筆記状態で3個の加速度センサが検出した加速度を基に重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)におけるペン軸の傾斜角の初期値を演算し、傾斜角変化演算部は筆記状態で3個のジャイロが検出した回転角速度を基にペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の変化を演算し、筆記中傾斜角演算部は初期傾斜角演算部が演算した傾斜角の初期値と傾斜角変化演算部が演算した傾斜角の変化を基に筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を演算し、加速度補正部は3個の加速度センサの取り付け位置、3個のジャイロが検出した回転角速度、傾斜角変化演算部が演算したペン軸の傾斜角の変化及び筆記中傾斜角演算部が演算した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)における3個の加速度センサの取り付け位置での加速度をペン先端部での加速度に補正し、座標変換演算部は筆記中傾斜角演算部が検出した筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を基に加速度補正部が補正したペン軸座標系(Xs,Ys,Zs)における加速度を重力座標系(Xg,Yg,Zg)による加速度に変換し、移動量演算部は座標変換演算部が変換した加速度を基にペン先端部の移動方向及び移動距離を算出して、装置の傾斜角及び加速度センサの取り付け位置による影響を補正した正確な筆記入力を行う。
【0015】
Xs軸方向の加速度センサをYs=0となる位置、Ys方向の加速度センサをXs=0となる位置、Zs方向の加速度センサをZs軸上に設けて、演算部の演算を簡単にする。
【0016】
さらに、各加速度センサをZs軸近傍に設けて、演算量を少なくし演算時間を短縮する。
【0017】
さらに、3個の加速度センサ及び3個のジャイロからの信号のペン先端部と被筆記面との摩擦による高周波成分を透過するハイパスフィルタを有し、ハイパスフィルタを経由した3個の加速度センサ及び3個のジャイロからの信号のうちいずれか最初に高周波成分を含んだ信号を基に筆記開始を判断し、ハイパスフィルタを経由した3個の加速度センサ及び3個のジャイロからの信号のうちいずれか最後まで高周波成分を含んだ信号を基に筆記終了を判断して、簡単な構成で筆記開始及び筆記終了を検出する。
【0018】
さらに、筆記軌跡抽出部とフィティング部を有し、筆記軌跡抽出部は移動量演算部が算出したペン先端部の移動方向及び移動距離から筆記開始から終了までのペン先端部の軌跡を抽出し、フィティング部は筆記軌跡抽出部が抽出したペン先端部の軌跡を被筆記面に写像して、被筆記面の傾斜による影響を補正する。
【0019】
また、移動量演算部は座標変換演算部が変換した加速度を基にペン先端部のXg方向及びYg方向の移動距離を算出し、筆記軌跡抽出部は移動量演算部が算出したペン先端部のXg方向及びYg方向の移動距離から筆記開始から終了までのペン先端部の軌跡を抽出して、簡単な構成で被筆記面の傾斜による影響を補正する。
【0020】
【発明の実施の形態】
この発明のペン型入力装置は、コンピュータ装置等に文字、記号及び図形等を入力するものある。この発明のペン型入力装置は、ペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の加速度を3個の加速度センサで検出し、検出したXs軸方向,Ys軸方向及びZs軸方向の加速度を基にペン先端部の移動方向及び移動距離を検出するものである。加速度センサが検出した加速度には、加速度センサの取り付け位置による誤差及び装置の傾斜による誤差が含まれる。そこで、この発明のペン型入力装置は、無筆記状態でのペン軸座標系(Xs,Ys,Zs)のXs軸方向、Ys軸方向及びZs軸方向の加速度を検出し、検出した加速度から重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)におけるペン軸の傾斜角の初期値を求める。また、ペン型入力装置は筆記中におけるペン軸座標系(Xs,Ys,Zs)のXs軸周り,Ys軸周り及びZs軸周りの回転角速度を検出し、ペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の変化を検出する。これにより、筆記時におけるペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を求める。加速度センサの取り付け位置、3個のジャイロが検出した回転角速度、重力座標系におけるペン軸の傾斜角の初期値及び重力座標系におけるペン軸の傾斜角の変化を基に加速度センサにおける加速度をペン先端部における加速度に補正する。補正したペン軸座標系(Xs,Ys,Zs)における加速度を重力座標系における加速度に変換し、移動方向及び移動距離を正確に検出するものである。
【0021】
ペン型入力装置は、例えば3個の加速度センサと3個のジャイロと演算部を有する。3個の加速度センサは、例えばペン軸座標系(Xs,Ys,Zs)のZs軸近傍で、それぞれXs軸方向,Ys軸方向及びZs軸方向の加速度を検出し、検出した加速度を示す信号を出力する。3個のジャイロはそれぞれXs軸周り,Ys軸周り及びZs軸周りの回転角速度を検出し、検出した回転角速度を示す信号を出力する。演算部は初期傾斜角演算部と傾斜角変化演算部と筆記中傾斜角演算部と加速度補正部と座標変換演算部と移動量演算部を備える。初期傾斜角演算部は無筆記状態で3個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)の加速度を基にペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の初期値を演算する。傾斜角変化演算部は筆記状態で3個のジャイロが検出した回転角速度を基にペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の変化を演算する。筆記中傾斜角演算部は初期傾斜角演算部が演算したペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の初期値と傾斜角変化演算部が演算したペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の変化を基に、筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を求める。加速度補正部はペン先端部に対する3個の加速度センサの取り付け位置、3個のジャイロが検出した回転角速度、傾斜角変化演算部が演算したペン軸の傾斜角の変化及び筆記中傾斜角演算部が演算した筆記中のペン軸の傾斜角を基に3個の加速度センサが検出したペン軸座標系(Xs,Ys,Zs)の加速度をペン先端部における加速度に補正する。座標変換演算部は筆記中傾斜角演算部が検出した筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を基に加速度補正部が補正したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)による加速度に変換する。移動量演算部は座標変換演算部が変換した加速度を基にペン先端部の移動方向及び移動距離を算出して、装置の傾斜角及び加速度センサの取り付け位置による影響を補正した正確な筆記入力を行う。
【0022】
なお、上記ペン型入力装置による筆記状態の判断にはイネーブルスイッチ等を用いても良いし、加速度センサ及びジャイロからの信号の周波数成分を基に判断するようにしても良い。例えば、ペン型入力装置は加速度センサ及びジャイロからの信号の高周波成分を、例えば10Hz近傍の周波数を境に透過するハイパスフィルタを有する。加速度センサ等からの信号の高周波数成分はペン先端部と被筆記面との摩擦によるもので、かつ、これは10Hz近傍を境としているので、3個の加速度センサ及び3個のジャイロからの信号のいずれからか上記高周波成分を検出している間を筆記中と判断する。これにより、操作間違いなどを防止でき正確に筆記の開始および終了を検出できる。
【0023】
さらに、Xs軸方向の加速度センサをYs=0となる位置、Ys方向の加速度センサをXs=0となる位置、Zs方向の加速度センサをZs軸上に設けると、加速度の補正が簡単になり、演算部の演算が簡単になるので、演算時間を短縮できる。
【0024】
また、被筆記面が水平でない場合もあるので、例えば筆記軌跡抽出部とフィティング部を有するようにしても良い。筆記軌跡抽出部は移動量演算部が算出したペン先端部の移動方向及び移動距離から筆記開始から終了までのペン先端部の軌跡を抽出する。フィティング部は筆記軌跡抽出部が抽出したペン先端部の軌跡を被筆記面に写像して、被筆記面の傾斜による影響を補正する。
【0025】
また、移動量演算部は座標変換演算部が変換した加速度を基にペン先端部のXg方向及びYg方向の移動距離を算出し、筆記軌跡抽出部は移動量演算部が算出したペン先端部のXg方向及びYg方向の移動距離から筆記開始から終了までのペン先端部の軌跡を抽出して、簡単な構成で被筆記面の傾斜による影響を補正するようにしても良い。
【0026】
【実施例】
図1はこの発明の一実施例のペン型入力装置の構成図である。図に示すように、ペン型入力装置1は加速度センサ2a,2b,2c、ジャイロ3a,3b,3c、演算部4、記憶部5及び電源部6を有する。加速度センサ2a,2b,2cは、それぞれペン軸7をZs軸とした場合のZs軸と直交するXs軸方向,Ys軸方向及びZs軸方向に向けてZs軸近傍に設けられ、Xs軸方向,Ys軸方向及びZs軸方向の加速度を検出し、検出した加速度を示す信号を出力する。加速度センサ2a,2b,2cは、ピエゾ抵抗方式のもの以外に圧電方式のもの又は静電容量方式のものでも良い。ジャイロ3a,3b,3cはそれぞれXs軸周り,Ys軸周り及びZs軸周りの回転角速度を検出し、検出した回転角速度を示す信号を出力する。以下の説明では、特に断わらない限りペン軸7をZs軸とした座標系をペン軸座標系(Xs,Ys,Zs)といい、ペン軸7と直交する2軸をXs軸及びYs軸として説明する。また、重力加速度方向に伸びる軸をZg軸とする座標系を重力座標系(Xg,Yg,Zg)といい、Zg軸と直交する2軸をXg軸及びYg軸という。さらに、Xs軸,Ys軸及びZs軸とXg軸,Yg軸及びZg軸とが成す角度をそれぞれφ,θ及びψとする。
【0027】
演算部4は、図2に示すようにA/D変換器41a〜41f、ローパスフィルタ42a〜42f、ハイパスフィルタ43a〜43f、静止判断部44、初期傾斜角演算部45、傾斜角変化演算部46、筆記中傾斜角演算部47、加速度補正部48、座標変換演算部49、重力加速度除去部50、移動量演算部51、筆記軌跡抽出部52及びフィティング部53を備える。A/D変換器41a〜41fは、それぞれ加速度センサ2a,2b,2c及びジャイロ3a,3b,3cからのアナログ信号をデジタル信号に変換する。ローパスフィルタ42a〜42fはペン先端部8と被筆記面との摩擦力により生じる加速度センサ2a,2b,2c及びジャイロ3a,3b,3cからの信号の高周波成分を遮断する。ハイパスフィルタ43a〜43fは、例えば10Hzを境にして加速度センサ2a,2b,2c及びジャイロ3a,3b,3cからの信号の摩擦力による高周波数成分を抽出する。静止判断部44はハイパスフィルタ43a〜43fを経由した3個の加速度センサ2a,2b,2c及び3個のジャイロ3a,3b,3cからの信号のうちいずれか最初に高周波成分を含んだ信号を基に筆記開始を判断し、ハイパスフィルタ43a〜43fを経由した3個の加速度センサ2a,2b,2c及び3個のジャイロ3a,3b,3cからの信号のうちいずれか最後まで高周波成分を含んだ信号を基に筆記終了を判断する。例えばペン先端部8を鉛筆の芯で構成し、紙に対して筆記した場合の加速度信号の波形を図3に示す。図3に示すように筆記加速度成分は中心周波数10Hz以下の比較的に周波数が低い部分に表れ、ペン先端部8と被筆記面との摩擦による成分は100Hz以上の比較的周波数が高い部分に表れる。そこで、10Hz以上の周波数成分をハイパスフィルタ43a〜43fで抽出し、静止判断部44はハイパスフィルタ43a〜43fが抽出した信号を予め定めた閾値と比較することにより、筆記中か否かを判断する。ここで、筆記の方向により、各加速度センサ2a,2b,2c及びジャイロ3a,3b,3cで検出するペン先端部8と被筆記面との摩擦による成分に違いが表れることから、静止判断部44はいずれか最初に高周波成分を含んだ信号を基に筆記開始を判断し、いずれか最後まで高周波成分を含んだ信号を基に筆記終了を判断する。
【0028】
初期傾斜角演算部45は無筆記状態で3個の加速度センサ2a,2b,2cが検出したペン軸座標系(Xs,Ys,Zs)での加速度を基にペン軸7の重力座標系(Xg,Yg,Zg)おける傾斜角の初期値φ0,θ0及びψ0を演算する。
傾斜角変化演算部46は筆記状態で3個のジャイロ3a,3b,3cが検出した回転角速度を基にペン軸7の重力座標系(Xg,Yg,Zg)における傾斜角の変化Δφ,Δθ及びΔψを演算する。筆記中傾斜角演算部47は初期傾斜角演算部45が演算したペン軸7の重力座標系(Xg,Yg,Zg)における傾斜角の初期値φ0,θ0及びψ0と傾斜角変化演算部46が演算したペン軸7の重力座標系(Xg,Yg,Zg)における傾斜角の変化Δφ,Δθ及びΔψを基に、筆記中のペン軸8の重力座標系(Xg,Yg,Zg)における傾斜角φ,θ及びψを求める。加速度補正部48は3個の加速度センサ2a,2b,2cの取り付け位置、3個のジャイロ3a,3b,3cが検出した回転角速度、傾斜角変化演算部46が演算したペン軸7の傾斜角の変化及び筆記中傾斜角演算部47が演算した筆記中のペン軸7の傾斜角を基にペン軸座標系(Xs,Ys,Zs)における3個の加速度センサ2a,2b,2cの取り付け位置での加速度をペン先端部8での加速度に補正する。座標変換演算部49は筆記中傾斜角演算部47が検出した筆記中のペン軸7の重力座標系(Xg,Yg,Zg)における傾斜角φ,θ及びψを基に加速度補正部48が補正したペン軸座標系(Xs,Ys,Zs)による加速度を重力座標系(Xg,Yg,Zg)による加速度に変換する。重力加速度除去部50は座標変換演算部49が変換した加速度から重力加速度成分を除去する。移動量演算部51は重力加速度除去部50が重力加速度成分を除去した加速度を基にペン先端部8の移動方向及び移動距離を算出する。筆記軌跡抽出部52は移動量演算部51が算出したペン先端部8の移動方向及び移動距離から筆記開始から終了までのペン先端部8の軌跡を抽出し、記憶部5に記憶する。フィティング部53は筆記軌跡抽出部52が抽出して記憶部5に記憶したペン先端部8の軌跡を被筆記面に写像する。
【0029】
ここで、演算部4の演算について説明する。重力座標系(Xg,Yg,Zg)からペン軸座標系(Xs,Ys,Zs)への座標変換式は次式のようになる。
【0030】
【数1】
Figure 0004033929
【0031】
この式をペン軸座標系(Xs,Ys,Zs)から重力座標系(Xg,Yg,Zg)への座標変換式に変形すると、次式のようになる。
【0032】
【数2】
Figure 0004033929
【0033】
ここで、図4に示す点Aの重力座標系(Xg,Yg,Zg)での座標(Xga,Yga,Zga)は、ペン先端部8の重力座標系(Xg,Yg,Zg)での座標(Xgo,Ygo,Zgo)と点Aのペン軸座標系(Xs,Ys,Zs)での座標(Lx,Ly,Lz)と傾斜角φ,θ,ψから次式のようになる。
【0034】
【数3】
Figure 0004033929
【0035】
上式を時間で2回微分したものが点A(Xga,Yga,Zga)の重力座標系(Xg,Yg,Zg)での加速度(Axg,Ayg,Azg)である。ここで、傾斜角φ,θ,ψも時間の関数であるので、次式を得ることができる。
【0036】
【数4】
Figure 0004033929
【0037】
また、ペン先端部8の移動に関係無く重力座標系(Xg,Yg,Zg)のZg軸方向には重力が働く。そこで、上式に重力加速度gを加えると、次式のようになる。
【0038】
【数5】
Figure 0004033929
【0039】
加速度センサ2a,2b,2cを点Aに設けたとすると、これらの式から加速度センサ2a,2b,2cが検出する加速度(Axsa,Aysa,Azsa)は、次式で表わすことができる。
【0040】
【数6】
Figure 0004033929
【0041】
次に、加速度センサ2a、2b,2cがそれぞれ点B,C,Dに設けられているとし、点B,C,Dのペン軸座標系(Xs,Ys,Zs)での座標をそれぞれB(Lxx,Lxy,Lxz),C(Lyx,Lyy,Lyz),D(Lzx,Lzy,Lzz)とし、前式の第2項を次式で置き換える。
【0042】
【数7】
Figure 0004033929
【0043】
上式より、各加速度センサ2a,2b,2cが検出する加速度(Axs,Ays,Azs)は次式のようになる。
【0044】
【数8】
Figure 0004033929
【0045】
加速度補正部48は上式の第2項を演算して、各加速度センサ2a,2b,2cが検出した加速度(Axs,Ays,Azs)を補正する。さらに、補正した加速度を座標変換演算部49が座標変換した後に、重力加速度除去部50が重力加速度成分を除去してペン先端部8の加速度(Axgo,Aygo,Azgo)を得る。ここで、ペン先端部8の重力座標系(Xg,Yg,Zg)での加速度(Axgo,Aygo,Azgo)は、重力座標系(Xg,Yg,Zg)での移動距離(Xgo,Ygo,Zgo)を2回微分した式で表わすことができ、次式のようになる。
【0046】
【数9】
Figure 0004033929
【0047】
移動量演算部51は、このように算出したペン先部8の重力座標系(Xg,Yg,Zg)での加速度(Axgo,Aygo,Azgo)を2回積分してペン先端部8の軌跡を求める。
【0048】
次に傾斜角の初期値(φ0,θ0,ψ0)について説明する。静止状態においては重力加速度による影響だけなので、加速度センサ2a,2b,2cが検出するペン軸座標系(Xs,Ys,Zs)における加速度(Axs,Ays,Azs)は移動距離(Xs,Ys,Zs)を2回微分した式で求めることができ、次式のようになる。
【0049】
【数10】
Figure 0004033929
【0050】
上記のように静止状態においては加速度センサ2a,2b,2cが検出するペン軸座標系(Xs,Ys,Zs)における加速度(Axs,Ays,Azs)は、加速度センサの取り付け位置に影響されない。ここで、2つの未知数φ0,θ0に対して3つの方程式が立てられるので、重力加速度gも未知数として取り扱うことができる。また、重力加速度gの値を演算し、監視する機能を付け演算した値の変動を基に演算の良否を判定することもできる。また、ペン軸座標系(Xs,Ys,Zs)の角軸の回転各速度(P,Q,R)と傾斜角速度(ψ,θ,φ)の変化との関係は次式で表わすことができる。
【0051】
【数11】
Figure 0004033929
【0052】
ここで、ペン先端部8の重力座標系(Xg,Yg,Zg)における移動距離(Xgo,Ygo,Zgo)を微分した式で求めることができるペン先端部8の加速度(Axgo,Aygo,Azgo)は次式で表わすこともできる。
【0053】
【数12】
Figure 0004033929
【0054】
上記構成のペン型入力装置1の動作を、図5のフローチャートを参照して説明する。
【0055】
加速度センサ2a,2b,2cはそれぞれXs方向,Ys方向,Zs方向の加速度を検出する。ハイパスフィルタ43a〜43fはA/D変換器41a〜41fを介して入力した加速度センサ2a,2b,2c及びジャイロ3a,3b,3cからの信号を10Hzを境に高周波成分を抽出して、静止判断部44はハイパスフィルタ43a〜43fからの信号を基に筆記中であるか否かを示す信号を出力する。このように、ペン先端部8と被筆記面との摩擦力により生じる高周波信号を検出して筆記中か否かを判断するので、容易かつ正確に筆記中であるか否かを検出できる。
【0056】
初期傾斜角演算部45は静止判断部44から筆記中を示す信号を受けていないときに、Xs軸に対する加速度センサ2a、Ys軸に対する加速度センサ2b及びZs軸に対する加速度センサ2cからの信号を入力し、ペン軸7の重力座標系における傾斜角の初期値φ0,θ0及びψ0を算出する(ステップS1)。
【0057】
傾斜角変化演算部46は静止判断部44から筆記中であることを示す信号を受けると(ステップS2)、3個のジャイロ3a,3b,3cが検出した回転角速度を基にペン軸7の重力座標系(Xg,Yg,Zg)における傾斜角の変化Δφ,Δθ及びΔψを演算する(ステップS3)。筆記中傾斜角演算部47は、上記のように初期傾斜角演算部45が演算したペン軸7の傾斜角の初期値φ0,θ 0 ,ψ 0と傾斜角変化演算部45が演算したペン軸8の傾斜角(φ,θ,ψ)の変化を基に、筆記中のペン軸7の傾斜角(φ,θ,ψ)を求める(ステップS4)。加速度補正部48は3個の加速度センサ2a,2b,2cの取り付け位置の座標(Lxx,Lxy,Lxz),(Lyx,Lyy,Lyz),(Lzx,Lzy,Lzz)、傾斜角変化演算部46が演算したペン軸7の傾斜角(φ,θ,ψ)の変化及び筆記中傾斜角演算部47が演算した筆記中のペン軸7の傾斜角(φ,θ,ψ)を基に3個の加速度センサ2a,2b,2cが検出したペン軸座標系(Xs,Ys,Zs)の加速度(Axs,Ays,Azs)をペン先端部8における加速度(Axso,Ayso,Azso)に補正する(ステップS5)。座標変換演算部49は筆記中傾斜角演算部47が検出した筆記中の傾斜角(φ,θ,ψ)を基に加速度補正部48が補正した加速度(Axso,Ayso,Azso)を重力座標系(Xg,Yg,Zg)による加速度(Axgo,Aygo,Azgo)に変換する(ステップS6)。このように、加速度センサ2a,2b,2cの取り付け位置及び傾斜による影響を補正するので、ペン先端部8における重力座標系(Xg,Yg,Zg)による正確な加速度(Axgo,Aygo,Azgo)を検出することができる。
【0058】
重力加速度除去部50は座標変換演算部49が変換した加速度(Axgo,Aygo,Azgo)から重力加速度成分を除去する(ステップS7)。移動量演算部51は重力加速度除去部50が重力加速度成分を除去したペン先端部8における加速度(Axgo,Aygo,Azgo)を2回積分してペン先端部8の移動方向及び移動距離を算出する(ステップS8)。このように、加速度センサ2a,2b,2cが検出した加速度(Axs,Ays,Azs)を補正した後に積分するので、積分結果に発生する誤差を少なくすることができる。
【0059】
筆記軌跡抽出部52は移動量演算部51が算出したペン先端部8の移動方向及び移動距離から筆記開始から終了までのペン先端部8の軌跡を抽出して記憶部5に記憶する(ステップS9、S10)。フィティング部53は、例えば最小二乗法を用いて筆記軌跡抽出部52が抽出したペン先端部8の軌跡から被筆記面を特定し、ペン先端部8の軌跡を被筆記面に写像する(ステップS11)。例えば図6(a)に示す筆記軌跡の3次元データ(Xi,Yi,Zi)を被筆記面の表わす式aX+bY+cZ+d=0に代入し、aXi+bYi+cZi+d=δiとし、この誤差の二乗和Σ(δi)2が最小になるように被筆記面(a,b,c,d)を特定する。ここで、図6(b)に示すようにこの誤差δiは座標(Xi,Yi,Zi)と被筆記面との最短距離となる。このように、ペン先端部8の軌跡を被筆記面に写像することにより、被筆記面が傾いていた場合であっても正確にペン先端部8の被筆記面上の移動距離を入力することができる。ペン型入力装置1は上記動作(ステップS3〜S11)を静止判断部44が加速度センサ2a,2b,2c又はジャイロ3a,3b,3cからの高周波数成分を検出しなくなるまで繰り返し(ステップs12)、文字及び図形等を正確に入力する。
【0060】
なお、上記実施例においては加速度センサ2a,2b,2cの座標を(Lxx,Lxy,Lxz),(Lyx,Lyy,Lyz),(Lzx,Lzy,Lzz)としたが、Xs軸方向の加速度センサ2aをYs=0となる位置、Ys方向の加速度センサ2bをXs=0となる位置、Zs方向の加速度センサ2cをZs軸上に設けると、加速度センサ2a,2b,2cの座標は(Lxx,0,Lxz),(0,Lyy,Lyz),(0,0,Lzz)となり、ペン先端部8の重力座標系(Xg,Yg,Zg)における移動距離(Xg,Yg,Zg)を2回微分した式で求めることができる加速度(Axgo,Aygo,Azgo)は次式のようになり、加速度センサ2a,2b,2cga検出した加速度の補正演算量を少なくすることができる。
【0061】
【数13】
Figure 0004033929
【0062】
ここで、Xs軸方向の加速度センサ2aをXs=0となる位置、Ys方向の加速度センサ2bをYs=0となる位置、Zs方向の加速度センサ2cをZs軸上に設けると、加速度センサ2a,2b,2cの座標は(0,Lxy,Lxz),(Lyx,0,Lyz),(0,0,Lzz)となり、ペン先端部8の重力座標系(Xg,Yg,Zg)における移動距離(Xg,Yg,Zg)を2回微分した式で求めることができる加速度(Axgo,Aygo,Azgo)は次式のようになる。
【0063】
【数14】
Figure 0004033929
【0064】
また、各加速度センサ2a,2b,2cをZs軸上に設けたとすると、Lxx,Lxy,Lyx,Lyy,Lzx,Lzyは0となるので、加速度センサ2a,2b,2cの座標は(0,0,Lxz),(0,0,Lyz),(0,0,Lzz)となり、ペン先端部8の重力座標系(Xg,Yg,Zg)における移動距離(Xg,Yg,Zg)を2回微分した式で求めることができる加速度(Axgo,Aygo,Azgo)は次式のようになり、さらに加速度の補正演算量を少なくすることができる。
【0065】
【数15】
Figure 0004033929
【0066】
また、図7〜図9に示すように補正項の特定の要素が大きな加速度成分を持っているので、その特定の要素のみを用いて、ペン先端部8の重力座標系における加速度(Axgo,Aygo,Azgo)を次式で計算しても良い。これにより、さらに計算時間を短縮することができる。例えば、Xs軸方向の加速度の補正要素としてLxx(d2θ/dt2)cosφ、Ys軸方向の加速度の補正要素としてLyz{(d2ψ/dt2)sinθ−φ}、Zs軸方向の加速度の補正要素として−Lzz{(dφ/dt)2+(dθ/dt)2cos2φ}を用いた。
【0067】
【数16】
Figure 0004033929
【0068】
さらに、前記実施例においてはフィティング部53は座標(Xi,Yi,Zi)と被筆記面との最短距離となるようにしてペン先端部8の軌跡を被筆記面に写像したが、例えば図10に示すように座標(Xi,Yi,Zi)と被筆記面とのZg軸方向の距離が最短になるようにしても良い。例えば被筆記面を表わす式(a1)X+(b1)Y+Z+d1=0とし、筆記軌跡の3次元データ(Xi,Yi,Zi)を上式に代入し、(a1)×(Xi)+(b1)×(Yi)+(Zi)+(d1)=δiとし、この誤差の二乗和Σ(δi)2が最小になるように被筆記面(a1,b1,d1)を特定する。このように、パラメータを一つ減らすことにより演算時間を短縮することができる。この場合、被筆記面が垂直の場合に誤差が生じるが通常のペン型入力装置1の使用状況において被筆記面を垂直にすることはほとんど無い。
【0069】
さらに、移動量演算部51は座標変換演算部49が変換した加速度を基にペン先端部のXg方向及びYg方向の移動距離のみをを算出し、筆記軌跡抽出部52は移動量演算部51が算出したペン先端部8のXg方向及びYg方向の移動距離から筆記開始から終了までのペン先端部の軌跡を抽出して、簡単な構成で被筆記面の傾斜による影響を補正するようにしても良い。この場合、重力加速度除去部50及びフィティング部53が不要になり、これらの部分による演算時間を短縮することができるとともに、移動量演算部51によるZg方向の移動量演算処理を行う必要が無いので、演算時間を大幅に短縮することができる。
【0070】
【発明の効果】
この発明は以上説明したように、ペン軸の傾斜角の初期値とペン軸の傾斜角の変化を基に筆記中のペン軸の傾斜角を演算し、3個の加速度センサの取り付け位置、ペン軸の傾斜角の変化及び筆記中のペン軸の傾斜角を基に3個の加速度センサが検出した加速度をペン先端部における加速度に補正し、補正したペン軸座標系による加速度を筆記中のペン軸の傾斜角を基に重力座標系による加速度に変換し、変換した加速度を基にペン先端部の移動方向及び移動距離を算出するので、小型の装置で被筆記面上を移動するペン先端部の移動方向及び移動距離を正確に検出することができる。
【0071】
さらに、Xs軸方向の加速度センサをYs=0となる位置、Ys方向の加速度センサをXs=0となる位置、Zs方向の加速度センサをZs軸上に設けたので、演算処理を簡単にし、演算時間を短縮することができる。
【0072】
さらに、各加速度センサをZs軸近傍に設けたので、さらに演算量を少なくし演算時間を短縮することができる。
【0073】
さらに、加速度センサ及びジャイロからの信号のペン先端部と被筆記面との摩擦による高周波成分を基に筆記の開始及び終了を判断するので、簡単な構成で正確に筆記開始及び筆記終了を検出することができる。
【0074】
さらに、筆記開始から終了までのペン先端部の軌跡を抽出し、抽出したペン先端部の軌跡を被筆記面に写像するので、被筆記面の傾斜による影響を補正することができる。
【0075】
また、筆記開始から終了までのペン先端部のXg方向及びYg方向の移動距離を抽出するので、算出簡単な構成で短時間に被筆記面の傾斜による影響を補正することができる。
【図面の簡単な説明】
【図1】この発明の実施例を示す構成図である。
【図2】演算部の構成図である。
【図3】加速度信号の波形図である。
【図4】ペン型入力装置上の一点を表わすペン型入力装置の側面図である。
【図5】ペン型入力装置の動作を示すフローチャートである。
【図6】被筆記面の斜視図である。
【図7】f13成分の説明図である。
【図8】f23成分の説明図である。
【図9】f33成分の説明図である。
【図10】被筆記面とのZg軸方向の距離を最短にした場合の被筆記面の斜視図である。
【符号の説明】
1 ペン型入力装置
2 加速度センサ
3 ジャイロ
4 演算部
43 ハイパスフィルタ
44 静止判断部
45 初期回転角演算部
46 回転角変化演算部
47 筆記中回転角演算部
48 加速度補正部
49 座標変換演算部
50 重力加速度除去部
51 移動量演算部
52 筆記軌跡抽出部
53 フィティング部
5 記憶部
7 ペン軸
8 ペン先端部

Claims (6)

  1. 3個の加速度センサと3個のジャイロと演算部を有し、
    3個の加速度センサはそれぞれペン軸をZs軸としたペン軸座標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の加速度を示す信号を出力し、
    3個のジャイロはそれぞれXs軸周り,Ys軸周り及びZs軸周りの回転角速度を示す信号を出力し、
    演算部は初期傾斜角演算部と傾斜角変化演算部と筆記中傾斜角演算部と加速度補正部と座標変換演算部と移動量演算部を備え、
    初期傾斜角演算部は無筆記状態で3個の加速度センサが検出した加速度を基に重力加速度方向に伸びる軸をZg軸にした重力座標系(Xg,Yg,Zg)におけるペン軸の傾斜角の初期値を演算し、
    傾斜角変化演算部は筆記状態で3個のジャイロが検出した回転角速度を基にペン軸の重力座標系(Xg,Yg,Zg)における傾斜角の変化を演算し、
    筆記中傾斜角演算部は初期傾斜角演算部が演算した傾斜角の初期値と傾斜角変化演算部が演算した傾斜角の変化を基に筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を演算し、
    速度補正部は3個の加速度センサの取り付け位置、3個のジャイロが検出した回転角速度、傾斜角変化演算部が演算したペン軸の傾斜角の変化及び筆記中傾斜角演算部が演算した筆記中のペン軸の傾斜角を基にペン軸座標系(Xs,Ys,Zs)における3個の加速度センサの取り付け位置での加速度をペン先端部での加速度に補正し、
    座標変換演算部は筆記中傾斜角演算部が検出した筆記中のペン軸の重力座標系(Xg,Yg,Zg)における傾斜角を基に加速度補正部が補正したペン軸座標系(Xs,Ys,Zs)における加速度を重力座標系(Xg,Yg,Zg)による加速度に変換し、
    移動量演算部は座標変換演算部が変換した加速度を基にペン先端部の移動方向及び移動距離を算出することを特徴とするペン型入力装置。
  2. Xs軸方向の加速度センサをYs=0となる位置、Ys方向の加速度センサをXs=0となる位置、Zs方向の加速度センサをZs軸上に設けたことを特徴とする請求項1記載のペン型入力装置。
  3. 各加速度センサをZs軸近傍に設けた請求項1記載のペン型入力装置。
  4. 3個の加速度センサ及び3個のジャイロからの信号のペン先端部と被筆記面との摩擦による高周波成分を透過するハイパスフィルタを有し、ハイパスフィルタを経由した3個の加速度センサ及び3個のジャイロからの信号のうちいずれか最初に高周波成分を含んだ信号を基に筆記開始を判断し、ハイパスフィルタを経由した3個の加速度センサ及び3個のジャイロからの信号のうちいずれか最後まで高周波成分を含んだ信号を基に筆記終了を判断する請求項1記載のペン型入力装置。
  5. 筆記軌跡抽出部とフィティング部を有し、筆記軌跡抽出部は移動量演算部が算出したペン先端部の移動方向及び移動距離から筆記開始から終了までのペン先端部の軌跡を抽出し、フィティング部は筆記軌跡抽出部が抽出したペン先端部の軌跡を被筆記面に写像する請求項4記載のペン型入力装置。
  6. 移動量演算部は座標変換演算部が変換した加速度を基にペン先端部のXg方向及びYg方向の移動距離を算出し、移動量演算部が算出したペン先端部のXg方向及びYg方向の移動距離から筆記開始から終了までのペン先端部の軌跡を抽出する筆記軌跡抽出部を有する請求項4記載のペン型入力装置。
JP15286896A 1996-02-20 1996-05-27 ペン型入力装置 Expired - Fee Related JP4033929B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP15286896A JP4033929B2 (ja) 1996-05-27 1996-05-27 ペン型入力装置
US08/803,395 US5902968A (en) 1996-02-20 1997-02-20 Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US09/141,903 US6229102B1 (en) 1996-02-20 1998-08-28 Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US09/219,603 US6084577A (en) 1996-02-20 1998-12-23 Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US09/219,765 US5981884A (en) 1996-02-20 1998-12-23 Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15286896A JP4033929B2 (ja) 1996-05-27 1996-05-27 ペン型入力装置

Publications (2)

Publication Number Publication Date
JPH09319510A JPH09319510A (ja) 1997-12-12
JP4033929B2 true JP4033929B2 (ja) 2008-01-16

Family

ID=15549882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15286896A Expired - Fee Related JP4033929B2 (ja) 1996-02-20 1996-05-27 ペン型入力装置

Country Status (1)

Country Link
JP (1) JP4033929B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
JP2007535773A (ja) 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
TW200925946A (en) * 2007-07-06 2009-06-16 Sony Corp Input device, controller, control system, control method, and hand-held device
DE102014106837B4 (de) * 2014-05-15 2018-12-27 Stabilo International Gmbh Driftkompensation / Parallelminimierung

Also Published As

Publication number Publication date
JPH09319510A (ja) 1997-12-12

Similar Documents

Publication Publication Date Title
JP4033929B2 (ja) ペン型入力装置
US6229102B1 (en) Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US11016116B2 (en) Correction of accumulated errors in inertial measurement units attached to a user
TWI474265B (zh) 移動軌跡校正方法及移動軌跡產生方法
CN101872259B (zh) 自动录入书写内容的自然交互笔及笔迹检测方法
JPH09230997A (ja) ペン型入力装置
JP4809778B2 (ja) 長寸の物体の姿勢から得られた姿勢データの処理方法及び装置
JPH09274534A (ja) ペン型入力装置
JP3696365B2 (ja) ペン型入力装置
JP6434133B2 (ja) 電子ペンのペン位置を認識および評価する方法、ならびに、電子ペンおよびペン位置を電子的に認識するシステム
JP2009223839A (ja) ペン型入力装置及び手書き入力方法
JP3560418B2 (ja) ペン型入力装置
JP3678386B2 (ja) ペン型入力装置
JP3505057B2 (ja) ペン型入力装置
JP3776206B2 (ja) ペン型入力装置
JP3710603B2 (ja) ペン型入力装置
JPH10124245A (ja) ペン型入力装置
JP2001100908A (ja) ペン先軌跡生成方法、ペン型入力装置及びペン装着ユニット
JP3655021B2 (ja) ペン型入力装置
JPH0667799A (ja) ペン型のコンピュータ入力装置
JP3506878B2 (ja) ペン型入力装置
JP3841953B2 (ja) ペン型入力装置及び文字認識方法
JP3841952B2 (ja) ペン型入力装置
JPH1195915A (ja) ペン型入力装置
JPH09190281A (ja) ペン型座標入力装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041203

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041217

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071024

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees