JPH11288356A - 手書き入力方法及び手書き入力装置 - Google Patents

手書き入力方法及び手書き入力装置

Info

Publication number
JPH11288356A
JPH11288356A JP37336498A JP37336498A JPH11288356A JP H11288356 A JPH11288356 A JP H11288356A JP 37336498 A JP37336498 A JP 37336498A JP 37336498 A JP37336498 A JP 37336498A JP H11288356 A JPH11288356 A JP H11288356A
Authority
JP
Japan
Prior art keywords
voltage
predetermined position
sensor
writing
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP37336498A
Other languages
English (en)
Other versions
JP3712879B2 (ja
Inventor
Angelo Michael
アンジェロ マイケル
David G Stork
ジー ストーク デイビッド
Wolf Gregg
ウォルフ グレッグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH11288356A publication Critical patent/JPH11288356A/ja
Application granted granted Critical
Publication of JP3712879B2 publication Critical patent/JP3712879B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/228Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

(57)【要約】 【課題】 筆記具の筆記位置を追跡する装置を校正す
る。 【解決手段】 筆記具10は、センサ120としての三
つの加速度計122,123,124と三つのジャイロ
スコープ126,127,128とを備えるペンのよう
な器具からなる。センサ120からの出力はユーラ変換
によって処理される。筆記具10を使用するに先立ち、
複数の所定位置に筆記具10を保持し、センサ120の
出力結果を得る。センサ120の読み取り結果は、それ
らの所定位置に合わせてマップされる。そして、センサ
120の読み取り結果は、標高や温度、筆記面の傾き等
の環境による影響を補うため、予測されるセンサ120
の読み取り結果と比較される。こうして、所定位置以外
の位置でも、センサ120の出力結果は補間される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、筆記具の筆記位置
を追跡する技術に係り、特に、筆記具の位置を追跡する
装置やシステムを構成する技術に関する。
【0002】
【従来の技術】従来、コンピュータや他の装置に情報を
入力するための数々の入力装置がある。一般的には、そ
れらの装置、つまり、マウス、タッチセンサ、パッド等
は、情報が入力される装置に物理的に接続されている。
そして、そのような入力装置は、ペンや鉛筆のような筆
記具で簡単に情報を入力できるようには構成されていな
い。これに対し、ファクシミリ送信文の作成や予定表へ
の予定記入のような動作に際しては、ファクシミリ用の
メッセージを作成したり予定表に予定を記入したりたり
することができる従来の電子的な入力装置(例えばモバ
イルコンピュータやノート型パーソナルコンピュータ
等)を用いるよりも、コンピュータ等に物理的に接続さ
れていないような通常のペンや鉛筆でメッセージを作成
したり予定を記入したりする方がより簡単である。
【0003】
【発明が解決しようとする課題】電子的な入力装置とし
ての筆記具を得るためには、筆記具の位置を追跡するた
めの装置やシステムが必要となる。つまり、筆記具の動
きをモニタし、その動きをユーザが入力した文字や図形
等の表現に変換するような装置やシステムが望まれてい
る。このような装置やシステムでは、筆記具による筆記
の追跡を良好に行うために、ユーザの筆記による入力情
報を正確に受信する必要がある。しかしながら、筆記具
は、標高や温度等の条件が様々であるというような多く
の異なる環境の下で使用される。このため、筆記具の位
置を追跡する追跡装置や追跡システムを実現させたとし
ても、筆記具の追跡動作を正確に行うことが困難であ
り、その結果、ユーザの筆記入力を正確に受信すること
ができないであろうことが予想される。そこで、筆記具
が使用される環境を考慮しつつ、自らの動きをモニタす
ることができる筆記具の構成方法や校正装置の実現が望
まれる。
【0004】本発明の目的は、筆記具の筆記位置を追跡
する装置を校正することである。
【0005】
【課題を解決するための手段】本発明は、筆記具の位置
を追跡する装置を校正するための方法及び装置である。
本発明では、筆記具の位置に基づく出力を生成する複数
個のセンサが設けられている。センサの読み取りによっ
て、複数の所定の筆記具位置が得られる。筆記具の位置
に合わせたセンサ出力のマッピンは、所定位置でのセン
サの読み取り結果に基づいて生成される。
【0006】請求項1記載の手書き入力方法の発明は、
筆記具の位置に応じて生成される複数個のセンサの出力
に基づいて筆記具の筆記位置を追跡する装置を校正する
方法であって、筆記具の所定の複数位置でセンサの読み
取り結果を得る過程と、所定の複数位置でのセンサの読
み取り結果に基づいて筆記具の位置に合わせてセンサ出
力のマッピングを生成する過程と、を備える。
【0007】請求項2記載の発明は、請求項1記載の発
明において、筆記具の位置に合わせてセンサ出力のマッ
ピングを生成する過程は、所定位置でのセンサ出力に基
いて将来のセンサ出力に対応する将来の筆記具の位置に
おける多項式近似値を判定し、多項式近似値は、所定の
各位置でのセンサの出力を含む。
【0008】請求項3記載の発明は、請求項1記載の発
明において、筆記具の位置に合わせてセンサ出力のマッ
ピングを生成する過程は、筆記具が第1の所定位置に位
置する場合に第1の所定位置に合わせて特定のセンサに
よる第1の出力電圧をマッピングする過程と、筆記具が
第2の所定位置に位置する場合に第2の所定位置に合わ
せて特定のセンサによる第2の出力電圧をマッピングす
る過程と、第1の所定位置と第2の所定位置との間での
筆記具の位置に合わせて第1の電圧と第2の電圧との間
でのセンサの出力電圧をマッピングする過程と、を備え
る。
【0009】請求項4記載の発明は、請求項1記載の発
明において、筆記面の角度を補うために、筆記具の位置
に合わせてセンサ出力のマッピングを変更する過程を更
に備える。
【0010】請求項5記載の発明は、請求項1記載の発
明は、既知の位置に対するマップされた位置の計測でき
る偏向に基づいて、筆記具の位置に合わせてセンサ出力
のマッピングを変更する過程を更に備える。
【0011】請求項6記載の発明は、請求項5記載の発
明において、筆記具の位置に合わせたセンサ出力のマッ
ピング変更は、パターン認識に基づいて行われる。
【0012】請求項7記載の発明は、請求項3記載の発
明において、筆記具が第3の所定位置に位置する場合に
第3の所定位置に合わせて特定のセンサによる第3の出
力電圧をマッピングする過程と、第2の所定位置と第3
の所定位置との間での筆記具の位置に合わせて第2の電
圧と第3の電圧との間でのセンサの出力電圧をマッピン
グする過程と、を更に備える。
【0013】請求項8記載の発明は、請求項1記載の発
明において、センサは第1の加速度計と第2の加速度計
と第3の加速度計計とから構成され、加速度計の出力
は、各加速度計によって計測された重力の力の比例する
電圧である。
【0014】請求項9記載の発明は、請求項1記載の発
明において、センサは第1のジャイロスコープと第2の
ジャイロスコープと第3のジャイロスコープとから構成
され、ジャイロスコープの出力は、各ジャイロスコープ
によって計測された角速度に比例する電圧である。
【0015】請求項10記載の発明は、請求項3記載の
発明において、第1の所定位置は第2の所定位置に対し
て第1の直角の位置である。
【0016】請求項11記載の発明は、請求項7記載の
発明において、第1の所定位置は、第2の所定位置に対
して第2の直角の位置であり、第3の所定位置に対して
第3の直角の位置である。
【0017】請求項12記載の発明は、請求項3記載の
発明において、第1の所定位置は、第1の加速度計が重
量方向に対して垂直の方向である。
【0018】請求項13記載の発明は、請求項3記載の
発明において、第1の所定位置は、第1の加速度計が重
量方向に対して垂直の方向である。
【0019】請求項14記載の発明は、請求項3記載の
発明において、第1の所定位置は、第1の加速度計が重
量方向に対して垂直の方向である。
【0020】請求項15記載の手書き入力装置の発明
は、入力装置の動きを追跡する装置であって、入力装置
の所定の複数位置でセンサの読み取り結果を得る手段
と、所定の位置でのセンサの読み取り結果に基づいて入
力装置の位置に合わせてセンサ出力のマッピングを生成
する手段と、を備える。
【0021】請求項16記載の発明は、請求項15記載
の発明において、筆記具の位置に合わせてセンサ出力の
マッピングを生成する手段は、筆記具が第1の所定位置
に位置する場合に第1の所定位置に合わせて特定のセン
サによる第1の出力電圧をマッピングする手段と、筆記
具が第2の所定位置に位置する場合に第2の所定位置に
合わせて特定のセンサによる第2の出力電圧をマッピン
グする手段と、第1の所定位置と第2の所定位置との間
での筆記具の位置に合わせて第1の電圧と第2の電圧と
の間でのセンサの出力電圧をマッピングする手段と、を
備える。
【0022】請求項17記載の発明は、請求項16記載
の発明において、筆記具が第3の所定位置に位置する場
合に第3の所定位置に合わせて特定のセンサによる第3
の出力電圧をマッピングする手段と、第2の所定位置と
第3の所定位置との間での筆記具の位置に合わせて第2
の電圧と第3の電圧との間でのセンサの出力電圧を補間
する手段と、を更に備える。
【0023】請求項18記載の手書き入力装置の発明
は、筆記具を追跡する装置であって、対応する方向への
加速度に応じて出力電圧を生成する複数個の加速度計
と、筆記具が複数の所定位置に位置する場合に、加速度
計の出力電圧に基づいて加速度計の出力電圧をマップす
る校正回路と、を備える。
【0024】請求項19記載の発明は、請求項18記載
の発明において、複数個の加速度計は、筆記具が第1の
所定位置に位置する場合に第1の電圧を、筆記具が第2
の所定位置に位置する場合に第2の電圧を出力する第1
の加速度計と、筆記具が第1の所定位置に位置する場合
に第3の電圧を、筆記具が第2の所定位置に位置する場
合に第4の電圧を出力する第2の加速度計と、を備え、
校正回路は、第1の所定位置に合わせて第1の電圧及び
第3の電圧をマップし、第2の所定位置に合わせて第2
の電圧及び第4の電圧をマップし、第1の所定位置と第
2の所定位置との間での筆記具の位置に合わせて第1の
電圧と第2の電圧との間の電圧及び第3の電圧と第4の
電圧との間の電圧をマップする。
【0025】請求項20記載の発明は、請求項19記載
の発明において、第1の所定位置は、第2の所定位置に
対して第1の直角の位置である。
【0026】請求項21記載の発明は、請求項19記載
の発明において、筆記具が第1の所定位置に位置する場
合に第5の電圧を出力し、筆記具が第2の所定位置に位
置する場合に第6の電圧を出力する第3の加速度計を備
え、校正回路は、第1の所定位置に合わせて第5の電圧
をマップし、第2の所定位置に合わせて第6の電圧をマ
ップし、第1の所定位置と第2の所定位置との間の位置
に合わせて第5の電圧と第6の電圧との間の電圧をマッ
プする。
【0027】
【発明の実施の形態】本発明の実施の形態を図面に基づ
いて説明する。本実施の形態は、筆記具のような入力装
置の位置を追跡する装置あるいはシステムを校正するた
めの方法及び装置に関する。以下の記述においては、本
発明の理解のために本発明を説明するという目的で、数
々の特定の細部が規定されていく。しかし、当業者にと
っては、そのような特定の細部の説明なしに、本発明を
実施することができるはずである。例えば、良く知られ
た構造や装置がブロック図等の手法で示される。これ
は、本発明を曖昧にすることを避けるためである。
【0028】ここで述べられる追跡装置あるいはシステ
ムは、例えば、筆記具の位置を追跡する。筆記具につい
ては、例えば、"METHOD AND APPARATUS FOR PEN-BASED
FAXING"と題して1997年9月30日に米国特許商標
局に提出した出願番号08/940,832や、"MANUA
L ENTRY INTERACTIVE PAPER AND ELECTRONIC DOCUMENT
HANDLING AND PROCESSING SYSTEM"と題して1995年
11月1日に米国特許商標局に提出した出願番号08/
551,535に記述されている。これらの出願は、本
出願の譲渡人と同一の譲渡人に譲渡されている。このよ
うな筆記具は、ユーザが普通に筆記をするような動作を
ユーザに許容し、ユーザによってなされた筆の運びによ
るデータは、ペン形ファクシミリの場合にはファクシミ
リ装置に送信され、データ入力装置の場合にはデータエ
ントリとして用いられる。
【0029】勿論、本発明の位置追跡装置もしくはシス
テムを他の態様で用いることも可能である。例えば、"D
IRECT POINTING APPARATUS FOR DIGITAL DISPLAY"と題
して1997年4月18日に米国特許商標局に提出した
出願番号08/840,552に記述されている装置の
ようなワイヤレスポインティング装置に本発明により校
正される追跡装置もしくはシステムを適用しても良い。
なお、1997年4月18日に米国特許商標局に提出し
た出願番号08/840,552は、本出願の譲渡人と
同一の譲渡人に譲渡されている。
【0030】以下では、筆記具の筆記位置を追跡する装
置もしくはシステムを校正するための方法及び装置を例
に挙げて説明する。もっとも、ここでの校正方法及び装
置は、カーソル制御装置等のような他の実施の態様に等
しく適用可能である。
【0031】本実施の形態における筆記具は、3つの加
速度センサ(加速度計)及び3つの角速度センサ(ジャ
イロスコープ)を備えるペン形装置によって構成されて
いる。センサからの出力は、ユーラ変換を介して処理さ
れる。筆記具を使用するに先立ち、ユーザは、複数の所
定位置に筆記具を保持する。これらの位置で、センサの
読み取り結果が得られ、これがマッピング処理される。
換言すると、電圧レベル等のセンサ出力は、追跡装置も
しくはシステムによって所定位置で規定されることにな
る。そして、センサの読み取り結果は、標高や温度、筆
記面の傾斜等のような環境の変化を補うために予測され
るセンサの読み取り結果と比較される。こうして行われ
た校正後、所定位置で得られたセンサの出力を補完する
ことによって、所定位置以外の位置でのセンサの読み取
り結果もその位置に対応するようにマッピングされる。
このようなセンサ出力のマッピングは、所定位置以外の
位置での筆記具の位置の追跡を許容する。
【0032】ユーザが筆記具で筆記を行った場合、セン
サの出力は、筆記具の位置を追跡するために用いられ、
こうしてユーザによってなされた筆の運びが規定され
る。筆の運びを描写するデータは、メッセージのファク
シミリ送信、予定の記録、他の類似の仕事のような各種
の仕事を完遂するために、格納されて処理される。筆の
運びのデータは、光学的なキャラクタ認識装置(OC
R)を用いて格納されたキャラクタやテンプレートを当
てはめるような構成ではなく、現実に筆記具によってな
された筆の運びの図形表現によって構成される。そし
て、筆記データの処理は、筆記具自体において、あるい
は、遠隔地に置かれたコンピュータ装置によって行われ
る。 〔筆記具〕複合センサを有する本発明の筆記具の一態様
について説明する。この筆記具は、物理的に筆記できる
ことが要求されるわけではない。追跡可能な筆記動作を
行うことができれば、いかなる器具や装置であっても良
い。加えて、ユーザが行なう現実の筆の運びが追跡され
て処理されるという構造上、ユーザの手書き品質は重要
視されない。
【0033】図1は、位置が追跡される筆記具10の一
例を示す。筆記具10の下部には、インク供給部110
及びペン先180が設けられている。上述したように、
筆記具10は、筆記面190のような面に現実に筆記で
きるような構成である必要はない。したがって、インク
供給部110は、ペンタイプの筆記器具が求められる場
合にのみ備えられていれば良い。筆記面190には、無
地の紙片や、特別の書式をもった用紙や、その他の種類
の筆記面を用いることができる。
【0034】筆記具10の上部には、センサとしての追
跡センサ120、バッテリ130、送受信器140及び
ディスプレイ150が設けられている。ディスプレイ1
50には、LED(light emitting diode)やLCD
(liquid crystal display)が用いられている。追跡セ
ンサ120は、3つの加速度計122,123,124
及び3つのジャイロスコープ126,127,128に
よって構成されている。もっとも、センサの数やタイプ
については、期待する正確性及び筆記具10が用いられ
る環境等に従い適宜選択することができる。一例とし
て、追跡センサ120は、位置追跡システムの固定フレ
ームにおける3次元(つまり、x,y,z)上で移動及
び加速度に関するデータを提供する。
【0035】ペン先180及び加速度計122,12
3,124は、筆記具が筆記面190に接触している場
合の判定に用いられる。一例としては、ペン先180が
筆記面に接触している場合の筆の運びだけが処理され
る。勿論、空中での筆記をユーザに許容するような他の
態様も実施可能である。この場合、ペン先180が筆記
面に接触している場合の筆の運びだけを選択するのと同
様の処理としては、ユーザによる筆記具10でのボタン
の押下やスイッチのオンオフ動作のような手法を用いる
ことができる。
【0036】バッテリ130は、追跡センサ120、送
受信器140、ディスプレイ150及び給電が要求され
る筆記具10の他の構成要素に対して電力を供給する。
送受信器140は、追跡センサ120からのデータ及び
他のデータを校正回路を含む遠隔コンピュータ装置17
5に送信する。送受信器140は、また、遠隔コンピュ
ータ装置175からデータを受信する。ディスプレイ1
50は、ユーザにフィードバックを提供する。そして、
遠隔コンピュータ装置175としては、パーソナルコン
ピュータやファクシミリ装置、あるいは他のコンピュー
タ装置を用いることができる。
【0037】筆記具10を使用するために、ユーザは、
筆記面190にメッセージを筆記する。ペン先180及
びインク供給部110は、ユーザに対し、紙片上に筆記
をするかのような状態でのメッセージの筆記を許容す
る。但し、上述したように、筆記面190上でメッセー
ジを記録することは必ずしも必要ではないが、そのよう
にした場合には、ユーザの記録のためにメッセージのコ
ピーを残すことができる。
【0038】ユーザがメッセージを筆記した場合、追跡
センサ120は、メッセージを記録するためになされた
筆の運びをモニタする。この場合の筆の運びは、メッセ
ージを記録するためになされた一連の筆の運びである。
追跡センサ120からのデータは、送受信器140を介
して遠隔コンピュータ装置175に送信される。あるい
は、追跡センサ120からのデータは、筆記具10に格
納されて処理されても良い。
【0039】筆記が筆記具10でなされた場合、追跡セ
ンサ120からの追跡データは、記録されて処理され
る。一例として、追跡センサ120によって出力された
筆の運びのデータは、所定の電圧である。加速度計12
2,123,124では、その出力電圧は、筆記具10
の移動フレームにおいて3つの各方向(つまり、x,
y,z)で測定された加速度に比例する。筆記具10が
静止状態である場合、それらの加速度は、重力(−9.
81m/sec2 )の力によってなり立つ。ジャイロス
コープ126,127,128では、その出力電圧は、
筆記具10の移動フレームにおいて3つの各方向(例え
ば、x,y,z)での筆記具10の角速度に比例する。
【0040】加速度計122,123,124及びジャ
イロスコープ126,127,128のそれぞれという
3つのセンサによって生成される電圧レベルは、筆記具
10の位置に合わせてデータをマッピングする遠隔コン
ピュータ装置175に送信される。電圧レベルの送信
は、アナログデジタル変換器を用いてセンサ出力の電圧
レベルをサンプリングし、送受信器140を介して遠隔
コンピュータ装置175にデジタル情報を送信すること
によって完遂する。遠隔コンピュータ装置175は、セ
ンサによって出力された電圧レベルを表すデジタル情報
を受信し、筆記具10の位置を判定する。
【0041】筆記具10でメッセージを筆記するに先立
ち、筆記具10を既知の位置に配置してセンサの読み取
りを行なうことにより、追跡システムの校正が実行され
る。既知位置で得られたセンサの読み取り結果は、既知
位置を規定するために利用される。遠隔コンピュータ装
置175は、所定の位置でのセンサ出力に基づく補間に
よって、所定位置とは異なる位置に位置する筆記具10
の位置に合わせてセンサの別の出力をマッピングする。
補間は、多項式近似値や他の変換によって実行される。
なお、追跡システムの校正については、以下に詳述す
る。
【0042】校正後、遠隔コンピュータ装置175が受
信した電圧レベル情報は、筆記具10の位置に合わせて
マッピングされる。筆記具10の位置を判定することに
よって、遠隔コンピュータ装置175は、筆記具10に
よる筆の運びを判断する。筆の運びの図形描写は、図形
表示、ファクシミリメッセージ及び他の目的のために生
成されて出力される。
【0043】なお、筆記具に用いられるような位置セン
サシステムの別の構造としては、"MANUAL ENTRY INTERA
CTIVE PAPER AND ELECTRONIC DOCUMENT HANDLING AND P
ROCESSING SYSTEM"と題して1995年11月1日に米
国特許商標局に提出した出願番号08/551,535
に記述されている。この出願は、本出願の譲渡人と同一
の譲渡人に譲渡されている。 〔筆記位置の追跡〕一例として、筆記具10の筆記位置
の追跡は、ユーラ変換を介して成し遂げられる。一般的
に、ユーラ変換は、追跡センサ120の出力を、筆記具
10を用いたユーザによってなされる筆の運びを規定す
るデータに変換する。ユーラ変換は、一連の3つのフレ
ームの回転であり、球状(固定)フレームのz軸回りの
ψラジアン回転で始まり、フレーム1を生成する。フレ
ーム1は、フレーム1のy軸回りにθラジアンで回転し
フレーム2を生成する。フレーム2は、フレーム2のx
軸回りをφラジアンで回転して筆記具フレームに到達す
る。一例として、フレームの回転は、上述したように実
行されるが、例えば、フレームに高精度が望まれている
ような場合には、異なるオーダで実行されても良い。
【0044】ユーラ変換は、加速度及び角速度のデータ
を、既知位置からの加速度及び速度に基づいて位置デー
タに変換するために用いられる。ユーラ変換は、通常、
航空ナビゲーションの分野において用いられる。もっと
も、ナビゲーションのために用いた場合、ユーラ変換
は、筆記具の筆跡追跡のために要求される精度を持って
計算されない。
【0045】ユーラ変換によって得られたデータから筆
記具10による筆の運びを再生成するために、遠隔コン
ピュータ装置175によって加速度は2度積分され、ス
タート位置に関連して距離が判定される。筆記具10に
おけるジャイロスコープ126,127,128は、筆
記具10が移動することにより筆記具10の回転角によ
って引き起こされる加速度を補正するために用いられ
る。上述したように、演算処理は、筆記具10の構成要
素によって実行されても良いし、また、図1に示す遠隔
コンピュータ装置175のような遠隔配置された装置に
よって実行されても良い。そして、そのような演算処理
は、ハードウエアによって実行されても良いし、ソフト
ウエアによって実行されても良い。
【0046】筆記具フレーム
【0047】
【数1】 において、加速度を、球状フレーム
【0048】
【数2】 での加速度に変換するために、次のユーラ変換が用いら
れる。
【0049】
【数3】 あるいは、
【0050】
【数4】 単純化のために、角度及びセンサ信号の時間上での依存
性は省略されている。筆記具フレームは、継続的に移動
し、センサ出力は、球状フレームにマッピングされる。
センサ出力は、各タイムステップにおいてマッピングさ
れる。タイムステップは、望む分解能によって定まる。
このタイムステップは、例えば、0.25秒程度であ
る。
【0051】筆記具の追跡については、"METHOD AND AP
PARATUS FOR TRANSFORMING SENSORSIGNALS INTO GRAPHI
CAL IMAGES"と題して1997年12月23日に米国特
許商標局に提出した出願番号08/996,537に記
述されている。この出願は、本出願の譲渡人と同一の譲
渡人に譲渡されている。
【0052】基本的なユーラ位置追跡に加えて、筆記具
10又は遠隔コンピュータ装置175によって手書き又
はパターン認識が実行される構成であっても良い。例え
ば、ユーラ変換パラメータは、実際の筆の運びからの既
知の偏差のために調節される。また、隠れモロコフモデ
ル(HMM)やニューラルネットワーク等のような別の
パターン認識技術を用いることもできる。 〔センサ校正〕筆記具は、温度条件の相違や標高の相違
等、センサ出力に影響を及ぼす様々な環境において用い
られることがあるため、本発明の実施の一形態として、
センサ校正が行なわれる。センサ校正は、センサを既知
の加速度要素を伴う既知の環境にセンサを置き、筆記具
10の位置を判定するための既知位置で選られた(電
圧、加速度)ペア間の補間を行うために、多項式近似値
を用いて行われる。例えば、x軸加速度計のような加速
度計(122,123,124)の一つが重力方向に対
して垂直である場合、加速度計の出力は−9.81m/
sec2 に対応し、他の二つの加速度計は0m/sec
2 を読み出す。そして、筆記具10が90度回転する
と、x軸加速度計は重力方向と平行になり、その出力は
0m/sec2に対応する。そこで、(ν1 ,−9.8
1)及び(ν2 ,0)を得る2つの点は電圧位置ライン
に適合し、これによって、受信した新たな電圧は、電圧
位置ラインによって判定されるように、筆記具10の位
置を表すことになる。類似のライン適合は、別の加速度
計(122,123,124)についても実行される。
もしも、高いオーダの適合性が求められるのであれば、
より多くの読み取りを行うことができるとし、また、電
圧ラインを記述するために2次方程式のようなより高次
の方程式を用いることができる。
【0053】実施の一例として、センサの読み取り結果
は、加速度計(122,123,124)によって計測
された加速度及びジャイロスコープ(126,127,
128)によって測定された角速度に比例する電圧レベ
ルによって構成されている。これらの電圧レベルは、例
えば、アナログデジタル変換された入力や、遠隔コンピ
ュータ装置175に送信され筆記具10の位置を追跡す
るために用いられる出力として用いることが可能であ
る。筆記具10に対して垂直である面は重力に対して垂
直ではないので、変換結果には面の二つの傾斜角(α,
β)が含まれている。実施の一例として、筆記具10の
ユーザは、センサが筆記面190に対して垂直に保持さ
れる所定の3個所で筆記具10を保持する。各加速度計
(122,123,124)について傾斜とインターセ
プト(m,b)とが計算され、次式に従い電圧が加速度
に変換される。
【0054】 (Acc=mV+b) 式3 それらの8つのパラメータ(つまり、3つの加速度計の
それぞれについての1つの傾斜及びインターセプト及び
2つの傾斜角)に関し、次式が解かれる。 ケース1:
【0055】
【数5】 ケース2:
【0056】
【数6】 ケース3:
【0057】
【数7】 8つのパラメータに設定される解は、式4〜12の各左
項を2乗し、その結果を加え、各パラメータに関して式
の結果を減ずることによって見出すことができる。この
ような演算処理は、ハードウエアかソフトウエアかのい
ずれか一方で実行される。
【0058】上述した8つのパラメータについての解
は、センサの読みとの結果に筆記具10の位置に対応す
るマッピングを許容する。式4〜12によって提供され
るマッピングは、リニアなマッピングである。センサの
読み取り結果を追加の所定位置で得ることにより、より
高いオーダのマッピングを行うこともできる。 〔筆記具の形状〕ユーザ向けの簡単な校正のために、筆
記具10は、1又は複数個の平坦面を備える。これらの
面は、センサの校正のための読み取り結果を得る目的
で、筆記面190に対して保持される。そのような読み
取りがなされた後、上述したような校正計算がセンサの
読み取りと共に実行される。校正のための読み取り結果
は、追跡装置もしくはシステムを構成するために用いら
れる。
【0059】択一的に、スタンドや分度器等を既知位置
で筆記具10を保持するために用いることができる。こ
のような道具を用いることで、筆記具10に校正目的の
ための平坦面を設ける必要がなくなる。
【0060】図2は、3つの校正面200,210,2
30を備えた筆記具10の実施の一例を示す斜視図であ
る。筆記具10は、3の校正面200,210,230
を備える。校正シーケンスは、校正面間の特定のシーケ
ンス及び角度に関して上述した通りであるが、別の角度
及びシーケンスを用いることもできる。いずれにして
も、有効な校正シーケンスに先立ち知られていなければ
ならない情報は、校正面間の角度関係である。
【0061】筆記具10のユーザは、最初に、校正面2
00を筆記面190に対向させて保持する。筆記面19
0がデスク上の用紙である場合には、ユーザは、校正面
200を下に向けてただ筆記具10を用紙上に置けば良
い。筆記具10は、センサの読み取りが安定するのに十
分な時間だけその位置に位置付けられる。この時間は、
例えば、0.3秒程度であるが、その時間は、追跡装置
もしくはシステムが求める精度や処理速度によって決め
られる。もしも筆記面190が傾斜しているなら、ユー
ザは、筆記具10が滑らないように筆記具10を保持す
ることになる。
【0062】筆記面190に対向するように校正面20
0が位置付けられた後、続いて筆記面210が同様に位
置付けられる。実施の一例として、校正面210は校正
面200に対して直角である。2つの校正面200,2
10が直角であることは、水準面上に位置付けられた筆
記具10に対して一方向にだけ機能させる力をもたらす
ことに役立つ。換言すると、重力はx軸方向に沿ってだ
け計測され、y軸及びz軸には加速が生じない。つま
り、校正面200,210間が直角であるということ
は、校正のための演算処理を単純化するのに役立つ。
【0063】最後の校正面は、ディスプレイ150が設
けられている筆記具10の校正面230である。実施の
一形態として、校正面230は、他の2つの校正面20
0,210に対して直角である。
【0064】筆記面190上で各校正面200,21
0,230の読み取りがなされた後に、上述した校正の
ための方程式に基づく校正演算が実行され、筆記具10
におけるセンサ出力が校正される。
【0065】図3は、4つの校正面300,310,3
20,330を備える筆記具10の一例を示す斜視図で
ある。図3の例示する実施の一形態では、より多くの読
み取りがなされるので、電圧と加速度との間でより高い
オーダの適合性が得られる。図2に例示した実施の一形
態と同様に、校正シーケンスは、校正面間の特定のシー
ケンス及び角度に関して上述した通りであるが、別の角
度及びシーケンスを用いることもできる。
【0066】4つの校正面のうちの3つは、三角形の各
辺を含む面上に形成された校正面300,310,32
0である。4つ目の校正面330は、ディスプレイ15
0が配置された筆記具10の上面に形成され、3つの各
校正面300,310,320に対して直角に形成され
ている。これらの3つの各校正面300,310,32
0は、互いに直角に形成されていないので、これらの各
校正面300,310,320については、校正のため
の演算処理が複雑化するが、これらの各校正面300,
310,320の校正によってより多くの情報が得られ
る。よって、筆記具10の追跡をより高精度で実行する
ことが可能となる。式4〜12は各校正面(200,2
10,230又は300,310,320)が直角であ
ることを想定しているため、図3の実施の形態では、校
正面300,310,320間の角度を補う修正が式4
〜12に加えられる。
【0067】ここで、校正面及び位置を幾つ用いても良
い。この場合、各位置間の関係が知られているというこ
とだけが必要である。この情報とセンサからの読み取り
結果とに基づいてセンサの校正が実行される。
【0068】以上、本発明は、特定の実施の態様として
述べられた。しかし、本発明の範囲内での各種の変更や
修正が許容されることは言うまでもない。
【0069】
【発明の効果】本発明は、筆記具をペンや鉛筆のような
通常の筆記具として使用すると、その筆の運びをセンサ
で検出して電子的なデータとして利用することができ
る。この場合、センサを校正することで、変換結果の精
度をより向上させることができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態として、筆記具、筆記面
及びコンピュータ装置を示す模式図である。
【図2】三つの校正面を備える筆記具の一例を示す斜視
図である。
【図3】四つの校正面を備える筆記具の一例を示す斜視
図である。
【符号の説明】
10, 筆記具 120 センサ 122,123,124 加速度計(第1の加速
度計、第2の加速度計、第3の加速度計) 126,127,128 ジャイロスコープ(第
1のジャイロスコープ、第2のジャイロスコープ、第3
のジャイロスコープ) 190 筆記面 175 校正回路(遠隔コンピュータ装置)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 デイビッド ジー ストーク アメリカ合衆国 カリフォルニア州 メン ロー・パーク スイート115 サンド・ヒ ル・ロード 2882 アール・シー−アー ル・エス・ブイ内 (72)発明者 グレッグ ウォルフ アメリカ合衆国 カリフォルニア州 メン ロー・パーク スイート115 サンド・ヒ ル・ロード 2882 アール・シー−アー ル・エス・ブイ内

Claims (21)

    【特許請求の範囲】
  1. 【請求項1】 筆記具の位置に応じて生成される複数個
    のセンサの出力に基づいて前記筆記具の筆記位置を追跡
    する装置を校正する方法であって、 前記筆記具の所定の複数位置で前記センサの読み取り結
    果を得る過程と、 所定の複数位置での前記センサの読み取り結果に基づい
    て前記筆記具の位置に合わせてセンサ出力のマッピング
    を生成する過程と、を備える手書き入力方法。
  2. 【請求項2】 請求項1記載の発明において、前記筆記
    具の位置に合わせてセンサ出力のマッピングを生成する
    過程は、所定位置でのセンサ出力に基いて将来のセンサ
    出力に対応する将来の前記筆記具の位置における多項式
    近似値を判定し、前記多項式近似値は、所定の各位置で
    の前記センサの出力を含む。
  3. 【請求項3】 請求項1記載の発明において、前記筆記
    具の位置に合わせてセンサ出力のマッピングを生成する
    過程は、 前記筆記具が第1の所定位置に位置する場合にこの第1
    の所定位置に合わせて特定の前記センサによる第1の出
    力電圧をマッピングする過程と、 前記筆記具が第2の所定位置に位置する場合にこの第2
    の所定位置に合わせて特定の前記センサによる第2の出
    力電圧をマッピングする過程と、 前記第1の所定位置と前記第2の所定位置との間での前
    記筆記具の位置に合わせて前記第1の電圧と前記第2の
    電圧との間での前記センサの出力電圧をマッピングする
    過程と、を備える。
  4. 【請求項4】 請求項1記載の発明は、筆記面の角度を
    補うために、筆記具の位置に合わせてセンサ出力のマッ
    ピングを変更する過程を更に備える。
  5. 【請求項5】 請求項1記載の発明は、既知の位置に対
    するマップされた位置の計測できる偏向に基づいて、前
    記筆記具の位置に合わせてセンサ出力のマッピングを変
    更する過程を更に備える。
  6. 【請求項6】 請求項5記載の発明において、前記筆記
    具の位置に合わせたセンサ出力のマッピング変更は、パ
    ターン認識に基づいて行われる。
  7. 【請求項7】 請求項3記載の発明は、 前記筆記具が第3の所定位置に位置する場合にこの第3
    の所定位置に合わせて特定の前記センサによる第3の出
    力電圧をマッピングする過程と、 前記第2の所定位置と前記第3の所定位置との間での前
    記筆記具の位置に合わせて前記第2の電圧と前記第3の
    電圧との間での前記センサの出力電圧をマッピングする
    過程と、を更に備える。
  8. 【請求項8】 請求項1記載の発明において、前記セン
    サは第1の加速度計と第2の加速度計と第3の加速度計
    計とから構成され、前記加速度計の出力は、各前記加速
    度計によって計測された重力の力の比例する電圧であ
    る。
  9. 【請求項9】 請求項1記載の発明において、前記セン
    サは第1のジャイロスコープと第2のジャイロスコープ
    と第3のジャイロスコープとから構成され、前記ジャイ
    ロスコープの出力は、各前記ジャイロスコープによって
    計測された角速度に比例する電圧である。
  10. 【請求項10】 請求項3記載の発明において、前記第
    1の所定位置は前記第2の所定位置に対して第1の直角
    の位置である。
  11. 【請求項11】 請求項7記載の発明において、前記第
    1の所定位置は、前記第2の所定位置に対して第2の直
    角の位置であり、前記第3の所定位置に対して第3の直
    角の位置である。
  12. 【請求項12】 請求項3記載の発明において、前記第
    1の所定位置は、第1の加速度計が前記重量方向に対し
    て垂直の方向である。
  13. 【請求項13】 請求項3記載の発明において、前記第
    1の所定位置は、第1の加速度計が前記重量方向に対し
    て垂直の方向である。
  14. 【請求項14】 請求項3記載の発明において、前記第
    1の所定位置は、第1の加速度計が前記重量方向に対し
    て垂直の方向である。
  15. 【請求項15】 入力装置の動きを追跡する装置であっ
    て、 前記入力装置の所定の複数位置でセンサの読み取り結果
    を得る手段と、 所定の位置での前記センサの読み取り結果に基づいて前
    記入力装置の位置に合わせてセンサ出力のマッピングを
    生成する手段と、を備える手書き入力装置。
  16. 【請求項16】 請求項15記載の発明において、前記
    筆記具の位置に合わせてセンサ出力のマッピングを生成
    する手段は、 前記筆記具が第1の所定位置に位置する場合にこの第1
    の所定位置に合わせて特定の前記センサによる第1の出
    力電圧をマッピングする手段と、 前記筆記具が第2の所定位置に位置する場合にこの第2
    の所定位置に合わせて特定の前記センサによる第2の出
    力電圧をマッピングする手段と、 前記第1の所定位置と前記第2の所定位置との間での前
    記筆記具の位置に合わせて前記第1の電圧と前記第2の
    電圧との間での前記センサの出力電圧をマッピングする
    手段と、を備える。
  17. 【請求項17】 請求項16記載の発明は、 前記筆記具が第3の所定位置に位置する場合にこの第3
    の所定位置に合わせて特定の前記センサによる第3の出
    力電圧をマッピングする手段と、 前記第2の所定位置と前記第3の所定位置との間での前
    記筆記具の位置に合わせて前記第2の電圧と前記第3の
    電圧との間での前記センサの出力電圧を補間する手段
    と、を更に備える。
  18. 【請求項18】 筆記具を追跡する装置であって、 対応する方向への加速度に応じて出力電圧を生成する複
    数個の加速度計と、 前記筆記具が複数の所定位置に位置する場合に、前記加
    速度計の出力電圧に基づいて前記加速度計の出力電圧を
    マップする校正回路と、を備える手書き入力装置。
  19. 【請求項19】 請求項18記載の発明において、複数
    個の前記加速度計は、 前記筆記具が第1の所定位置に位置する場合に第1の電
    圧を、前記筆記具が第2の所定位置に位置する場合に第
    2の電圧を出力する第1の加速度計と、 前記筆記具が第1の所定位置に位置する場合に第3の電
    圧を、前記筆記具が第2の所定位置に位置する場合に第
    4の電圧を出力する第2の加速度計と、を備え、 前記校正回路は、前記第1の所定位置に合わせて前記第
    1の電圧及び前記第3の電圧をマップし、前記第2の所
    定位置に合わせて前記第2の電圧及び前記第4の電圧を
    マップし、前記第1の所定位置と前記第2の所定位置と
    の間での前記筆記具の位置に合わせて前記第1の電圧と
    前記第2の電圧との間の電圧及び前記第3の電圧と前記
    第4の電圧との間の電圧をマップする。
  20. 【請求項20】 請求項19記載の発明において、前記
    第1の所定位置は、前記第2の所定位置に対して第1の
    直角の位置である。
  21. 【請求項21】 請求項19記載の発明は、前記筆記具
    が前記第1の所定位置に位置する場合に第5の電圧を出
    力し、前記筆記具が前記第2の所定位置に位置する場合
    に第6の電圧を出力する第3の加速度計を備え、前記校
    正回路は、前記第1の所定位置に合わせて前記第5の電
    圧をマップし、前記第2の所定位置に合わせて第6の電
    圧をマップし、前記第1の所定位置と前記第2の所定位
    置との間の位置に合わせて前記第5の電圧と前記第6の
    電圧との間の電圧をマップする。
JP37336498A 1997-12-23 1998-12-28 手書き入力方法及び手書き入力装置 Expired - Fee Related JP3712879B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/999,010 US6181329B1 (en) 1997-12-23 1997-12-23 Method and apparatus for tracking a hand-held writing instrument with multiple sensors that are calibrated by placing the writing instrument in predetermined positions with respect to the writing surface
US08/999010 1997-12-27

Publications (2)

Publication Number Publication Date
JPH11288356A true JPH11288356A (ja) 1999-10-19
JP3712879B2 JP3712879B2 (ja) 2005-11-02

Family

ID=25545771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37336498A Expired - Fee Related JP3712879B2 (ja) 1997-12-23 1998-12-28 手書き入力方法及び手書き入力装置

Country Status (2)

Country Link
US (2) US6181329B1 (ja)
JP (1) JP3712879B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500939A (ja) * 1999-05-25 2003-01-07 シルバーブルック リサーチ ピーティーワイ リミテッド ファクシミリの送達のための方法およびシステム
KR20030072938A (ko) * 2002-03-07 2003-09-19 함운철 다기능 포인터 및 포인팅 시스템

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573887B1 (en) * 1996-04-22 2003-06-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor
US6686910B2 (en) * 1996-04-22 2004-02-03 O'donnell, Jr. Francis E. Combined writing instrument and digital documentor apparatus and method of use
US6608688B1 (en) * 1998-04-03 2003-08-19 Image Guided Technologies, Inc. Wireless optical instrument for position measurement and method of use therefor
US20100008551A9 (en) * 1998-08-18 2010-01-14 Ilya Schiller Using handwritten information
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7721948B1 (en) * 1999-05-25 2010-05-25 Silverbrook Research Pty Ltd Method and system for online payments
US7175079B1 (en) * 1999-05-25 2007-02-13 Silverbrook Research Pty Ltd Method and system for online purchasing
US7971784B2 (en) * 1999-05-25 2011-07-05 Silverbrook Research Pty Ltd Sensing device with mode changes via nib switch
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US6640337B1 (en) * 1999-11-01 2003-10-28 Koninklijke Philips Electronics N.V. Digital television (DTV) including a smart electronic program guide (EPG) and operating methods therefor
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) * 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7161578B1 (en) * 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
DE10109760A1 (de) * 2001-02-28 2002-09-05 Unipen Ag Chipleser und Identifikationsverfahren zur Verifizierung der Benutzungsberechtigung eines Chipbenutzers
US6906703B2 (en) * 2001-03-28 2005-06-14 Microsoft Corporation Electronic module for sensing pen motion
US6831632B2 (en) * 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
US7061468B2 (en) * 2001-04-10 2006-06-13 Logitech Europe S.A. Hybrid presentation controller and computer input device
US6535799B2 (en) * 2001-04-30 2003-03-18 International Business Machines Corporation Dynamic technique for using corrective actions on vehicles undergoing excessive turns
US7176906B2 (en) * 2001-05-04 2007-02-13 Microsoft Corporation Method of generating digital ink thickness information
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
CN100478844C (zh) * 2001-11-05 2009-04-15 旋永南 一种图文输入装置
GB0127350D0 (en) * 2001-11-14 2002-01-02 Drs Data & Res Services Plc Vote recording & counting apparatus and method
US7257255B2 (en) * 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
US7221807B2 (en) * 2002-03-29 2007-05-22 Sharp Laboratories Of America, Inc. Methods and systems for digital image characteristic adjustment using a neural network
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US6952046B2 (en) * 2002-06-19 2005-10-04 Foster-Miller, Inc. Electronic and optoelectronic component packaging technique
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US7133563B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7009594B2 (en) * 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7116840B2 (en) 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7262764B2 (en) 2002-10-31 2007-08-28 Microsoft Corporation Universal computing device for surface applications
US20040140962A1 (en) * 2003-01-21 2004-07-22 Microsoft Corporation Inertial sensors integration
US7203384B2 (en) * 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
KR100533839B1 (ko) * 2003-03-14 2005-12-07 삼성전자주식회사 동작기반 전자기기 제어장치 및 그 제어방법
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
KR100501721B1 (ko) * 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
US7110100B2 (en) * 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7088440B2 (en) * 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US20050142263A1 (en) * 2003-12-30 2005-06-30 Lauren Keilbach Fish food flakes
US7136054B2 (en) * 2004-01-06 2006-11-14 Microsoft Corporation Camera-pen-tip mapping and calibration
US7583842B2 (en) * 2004-01-06 2009-09-01 Microsoft Corporation Enhanced approach of m-array decoding and error correction
US7263224B2 (en) * 2004-01-16 2007-08-28 Microsoft Corporation Strokes localization by m-array decoding and fast image matching
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7826641B2 (en) * 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7023536B2 (en) * 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7453447B2 (en) * 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US7342575B1 (en) 2004-04-06 2008-03-11 Hewlett-Packard Development Company, L.P. Electronic writing systems and methods
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
US7535456B2 (en) * 2004-04-30 2009-05-19 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in 3D pointing devices
JP4685095B2 (ja) * 2004-04-30 2011-05-18 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 微動に基づいてユーザを識別するための方法およびデバイス
KR100937572B1 (ko) 2004-04-30 2010-01-19 힐크레스트 래보래토리스, 인크. 3d 포인팅 장치 및 방법
JP5053078B2 (ja) * 2004-04-30 2012-10-17 ヒルクレスト・ラボラトリーズ・インコーポレイテッド ハンドヘルドポインティングデバイス及びその作動方法
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
WO2006058129A2 (en) 2004-11-23 2006-06-01 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7536051B2 (en) * 2005-02-17 2009-05-19 Microsoft Corporation Digital pen calibration by local linearization
US7607076B2 (en) 2005-02-18 2009-10-20 Microsoft Corporation Embedded interaction code document
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US20060215913A1 (en) * 2005-03-24 2006-09-28 Microsoft Corporation Maze pattern analysis with image matching
US20060242562A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7599560B2 (en) 2005-04-22 2009-10-06 Microsoft Corporation Embedded interaction code recognition
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US20060267967A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
US7400777B2 (en) * 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) * 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
US7508384B2 (en) * 2005-06-08 2009-03-24 Daka Research Inc. Writing system
US20090183929A1 (en) * 2005-06-08 2009-07-23 Guanglie Zhang Writing system with camera
US7619607B2 (en) 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
GB2472330B (en) * 2005-07-11 2011-06-15 Longhand Data Ltd Apparatus and methods relating to voting systems
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US20070038409A1 (en) * 2005-08-02 2007-02-15 Kurt Gilson Position sensing means and method
US20070030257A1 (en) * 2005-08-04 2007-02-08 Bhogal Kulvir S Locking digital pen
US7622182B2 (en) 2005-08-17 2009-11-24 Microsoft Corporation Embedded interaction code enabled display
US7817816B2 (en) * 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US8313379B2 (en) * 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US8870655B2 (en) * 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP4262726B2 (ja) * 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US20070113207A1 (en) * 2005-11-16 2007-05-17 Hillcrest Laboratories, Inc. Methods and systems for gesture classification in 3D pointing devices
US20070126716A1 (en) * 2005-11-17 2007-06-07 Jonathan Haverly Digital pen
US20070152961A1 (en) * 2005-12-30 2007-07-05 Dunton Randy R User interface for a media device
US7603633B2 (en) 2006-01-13 2009-10-13 Microsoft Corporation Position-based multi-stroke marking menus
US7688307B1 (en) 2006-01-24 2010-03-30 Zilog, Inc. Determining the distance an object has moved using an accelerometer
JP4530419B2 (ja) * 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) * 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
US7755026B2 (en) * 2006-05-04 2010-07-13 CandleDragon Inc. Generating signals representative of sensed light that is associated with writing being done by a user
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
TWI319539B (en) * 2006-11-29 2010-01-11 Ind Tech Res Inst Pointing device
US20080166175A1 (en) * 2007-01-05 2008-07-10 Candledragon, Inc. Holding and Using an Electronic Pen and Paper
JP5127242B2 (ja) 2007-01-19 2013-01-23 任天堂株式会社 加速度データ処理プログラムおよびゲームプログラム
US9024864B2 (en) 2007-06-12 2015-05-05 Intel Corporation User interface with software lensing for very long lists of content
US7860676B2 (en) * 2007-06-28 2010-12-28 Hillcrest Laboratories, Inc. Real-time dynamic tracking of bias
KR101542274B1 (ko) * 2007-10-16 2015-08-06 힐크레스트 래보래토리스, 인크. 씬 클라이언트 상에서 동작하는 사용자 인터페이스의 빠르고 부드러운 스크롤링
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
WO2009145854A1 (en) * 2008-04-15 2009-12-03 Hillcrest Laboratories, Inc. Tracking determination based on intensity angular gradient of a wave
JP2009266097A (ja) * 2008-04-28 2009-11-12 Toshiba Corp 入力機器
US8373703B2 (en) * 2008-09-24 2013-02-12 Penny Beckwith System and method for incorporating a personalized writing style into a word program
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
US9310887B2 (en) 2010-05-06 2016-04-12 James W. Wieder Handheld and wearable remote-controllers
US10133411B2 (en) * 2010-06-11 2018-11-20 Qualcomm Incorporated Auto-correction for mobile receiver with pointing technology
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US20140236529A1 (en) * 2013-02-18 2014-08-21 Motorola Mobility Llc Method and Apparatus for Determining Displacement from Acceleration Data
WO2014201631A1 (en) * 2013-06-19 2014-12-24 Nokia Corporation Electronic-scribed input
US9280214B2 (en) 2013-07-02 2016-03-08 Blackberry Limited Method and apparatus for motion sensing of a handheld device relative to a stylus
DE102013110581B4 (de) 2013-09-24 2018-10-11 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung und Vorrichtung hierzu
US9953219B2 (en) 2014-02-12 2018-04-24 Mattel, Inc. Apparatus for recognizing handwritten notes
US9996109B2 (en) 2014-08-16 2018-06-12 Google Llc Identifying gestures using motion data
USD797107S1 (en) * 2015-07-02 2017-09-12 Datalogic Ip Tech S.R.L. Portable terminal
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
US20190007536A1 (en) 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
US11903734B2 (en) 2019-01-02 2024-02-20 International Business Machines Corporation Wearable multiplatform sensor
KR20230047761A (ko) 2021-10-01 2023-04-10 주식회사 에이유이 3차원 전자펜을 이용한 글자 입력 시스템

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3906444A (en) 1973-10-11 1975-09-16 Stanford Research Inst Special pen and system for handwriting recognition
US3915015A (en) 1974-03-18 1975-10-28 Stanford Research Inst Strain gauge transducer system
USRE29765E (en) 1974-03-18 1978-09-19 Sri International Strain gauge transducer system
US4241409A (en) 1977-12-30 1980-12-23 Nolf Jean Marie Hand held pen-size calculator
US4345239A (en) 1980-06-20 1982-08-17 International Business Machines Corporation Apparatus for determining pen acceleration
US4468694A (en) 1980-12-30 1984-08-28 International Business Machines Corporation Apparatus and method for remote displaying and sensing of information using shadow parallax
US4513437A (en) 1982-06-30 1985-04-23 International Business Machines Corporation Data input pen for Signature Verification
US4545018A (en) 1982-09-01 1985-10-01 Westinghouse Electric Corp. Calibration of automated laser machining apparatus
US4561105A (en) 1983-01-19 1985-12-24 Communication Intelligence Corporation Complex pattern recognition method and system
JPS59183428A (ja) * 1983-04-01 1984-10-18 Hitachi Ltd 手書き入出力表示装置及び手書き入出力表示装置の表示方法
US4731857A (en) 1984-06-29 1988-03-15 International Business Machines Corporation Recognition system for run-on handwritten characters
US4751741A (en) 1984-07-19 1988-06-14 Casio Computer Co., Ltd. Pen-type character recognition apparatus
US4737773A (en) * 1984-09-04 1988-04-12 Nec Corporation Graphical display apparatus having a coordinate correction circuit
US5226091A (en) 1985-11-05 1993-07-06 Howell David N L Method and apparatus for capturing information in drawing or writing
SE450604B (sv) 1986-04-28 1987-07-06 Eric Rothfjell Forfarande jemte en anordning for signaturverifiering
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US4806707A (en) 1988-02-12 1989-02-21 Calcomp Inc. 3-Dimensional digitizer pen
US4883926A (en) 1988-04-21 1989-11-28 Hewlett-Packard Company Stylus switch
US5239292A (en) 1988-10-04 1993-08-24 Crosfield Electronics Ltd. Computer graphics system electronically simulating painting on canvas
US5022086A (en) 1988-12-20 1991-06-04 Sri International, Inc. Handwriting apparatus for information collection based on force and position
JP2812978B2 (ja) * 1989-03-27 1998-10-22 キヤノン株式会社 座標入力装置及びその入力座標の較正方法
US5159321A (en) 1989-08-18 1992-10-27 Matsushita Electric Industrial Co., Ltd. Pen-type computer input device
EP0413607A3 (en) 1989-08-18 1991-04-03 Matsushita Electric Industrial Co., Ltd. Pen-type computer input device
JPH0748174B2 (ja) 1989-09-04 1995-05-24 松下電器産業株式会社 ペン型のコンピュータ入力装置
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5408382A (en) 1992-01-10 1995-04-18 Norand Corporation Terminal and docking mechanism with open channel members and guide rollers
US5025314A (en) 1990-07-30 1991-06-18 Xerox Corporation Apparatus allowing remote interactive use of a plurality of writing surfaces
US5396265A (en) 1990-09-17 1995-03-07 Massachusetts Institute Of Technology Three-dimensional tactile computer input device
US5181181A (en) 1990-09-27 1993-01-19 Triton Technologies, Inc. Computer apparatus input device for three-dimensional information
JP2726594B2 (ja) 1991-04-01 1998-03-11 八洲電機株式会社 記憶ペン
US5164585A (en) 1991-09-24 1992-11-17 Daniel Y. T. Chen Stylus/digitizer combination with elongate reflectors and linear CCD
CA2121135A1 (en) 1991-10-23 1993-04-29 Henry C. Yuen Bar code matrix television calendar
US5247137A (en) 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
US5294792A (en) 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
JPH0644005A (ja) 1992-01-24 1994-02-18 Seiko Instr Inc 座標入力装置
CA2060564C (en) 1992-02-06 1996-05-21 Toru Suzuki Wireless input system for computer
US5477012A (en) 1992-04-03 1995-12-19 Sekendur; Oral F. Optical position determination
US5570109A (en) 1992-05-27 1996-10-29 Apple Computer, Inc. Schedule and to-do list for a pen-based computer system
DE69308140T2 (de) 1992-07-08 1997-09-18 Smart Pen Inc Vorrichtung und verfahren zur abbildung geschriebener informationen.
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5526018A (en) 1992-10-02 1996-06-11 Foundation Microsystems, Inc. Stretching scales for computer documents or drawings
AU2795992A (en) 1992-10-13 1994-05-09 Baron Technologies, Ltd. Apparatus for reading handwriting
IL104575A (en) 1993-02-01 1997-01-10 Intex Corp Image communication apparatus
US5414227A (en) * 1993-04-29 1995-05-09 International Business Machines Corporation Stylus tilt detection apparatus for communication with a remote digitizing display
US5373857A (en) * 1993-06-18 1994-12-20 Forte Technologies, Inc. Head tracking apparatus
US5444192A (en) 1993-07-01 1995-08-22 Integral Information Systems Interactive data entry apparatus
US5724264A (en) * 1993-07-16 1998-03-03 Immersion Human Interface Corp. Method and apparatus for tracking the position and orientation of a stylus and for digitizing a 3-D object
US5436792A (en) 1993-09-10 1995-07-25 Compaq Computer Corporation Pivotable docking station for use with notepad computer systems
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
US5583323A (en) * 1993-11-05 1996-12-10 Microfield Graphics, Inc. Calibration of graphic data-acquisition tracking system
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5434371A (en) 1994-02-01 1995-07-18 A.T. Cross Company Hand-held electronic writing tool
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
IL108565A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Improved information input apparatus
US5512892A (en) 1994-02-25 1996-04-30 International Business Machines Corporation Hand held control device
USD362663S (en) 1994-08-19 1995-09-26 Alps Electric (Usa) Inc. Docking station for a pen computer
WO1996014633A1 (en) 1994-11-07 1996-05-17 Baron Motion Communication Inc. Multi-dimensional electrical control device
US5587560A (en) 1995-04-10 1996-12-24 At&T Global Information Solutions Company Portable handwritten data capture device and method of using
US5657054A (en) * 1995-04-26 1997-08-12 Texas Instruments Incorporated Determination of pen location on display apparatus using piezoelectric point elements
US6029111A (en) * 1995-12-28 2000-02-22 Magellan Dis, Inc. Vehicle navigation system and method using GPS velocities
US5703623A (en) * 1996-01-24 1997-12-30 Hall; Malcolm G. Smart orientation sensing circuit for remote control
US5902968A (en) * 1996-02-20 1999-05-11 Ricoh Company, Ltd. Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement
US5751276A (en) * 1996-05-23 1998-05-12 Microsoft Corporation Method for calibrating touch panel displays
US5777898A (en) * 1996-08-19 1998-07-07 Symbios Logic Inc. Method and apparatus for aligning a digitizing panel with a display device
US5953683A (en) * 1997-10-09 1999-09-14 Ascension Technology Corporation Sourceless orientation sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003500939A (ja) * 1999-05-25 2003-01-07 シルバーブルック リサーチ ピーティーワイ リミテッド ファクシミリの送達のための方法およびシステム
KR20030072938A (ko) * 2002-03-07 2003-09-19 함운철 다기능 포인터 및 포인팅 시스템

Also Published As

Publication number Publication date
JP3712879B2 (ja) 2005-11-02
US6492981B1 (en) 2002-12-10
US6181329B1 (en) 2001-01-30

Similar Documents

Publication Publication Date Title
JPH11288356A (ja) 手書き入力方法及び手書き入力装置
US6212296B1 (en) Method and apparatus for transforming sensor signals into graphical images
KR100543701B1 (ko) 공간형 입력 장치 및 방법
TWI512548B (zh) 移動軌跡產生方法
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
US6081261A (en) Manual entry interactive paper and electronic document handling and processing system
US20080042973A1 (en) System for sensing yaw rate using a magnetic field sensor and portable electronic devices using the same
US20090183929A1 (en) Writing system with camera
JP5218016B2 (ja) 入力装置およびデータ処理システム
US20080143691A1 (en) Systems and methods for enabling tablet PC/pen to paper space
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入***及方法
US20040140962A1 (en) Inertial sensors integration
US20090115724A1 (en) Three-dimensional operation input apparatus, control apparatus, control system, control method, method of producing a three-dimensional operation input apparatus, and handheld apparatus
CN104133562A (zh) 信息输入输出装置
JP2004288188A (ja) マグネチックセンサを用いたペン型入力システムおよびその軌跡復元方法
Choi et al. Development of a low-cost wearable sensing glove with multiple inertial sensors and a light and fast orientation estimation algorithm
US8754851B2 (en) Remote controls for electronic display board
CN104049773A (zh) 电子笔的书写位置数据处理方法、装置及一种书写***
CN112328099B (zh) 低功率指向方法以及实现该指向方法的电子设备
Zhang et al. Towards an ubiquitous wireless digital writing instrument using MEMS motion sensing technology
US12026326B2 (en) Pen state detection circuit and method, and input system
JP3505057B2 (ja) ペン型入力装置
JPH1031553A (ja) ペン型入力装置
JP3710603B2 (ja) ペン型入力装置
JP2004519772A (ja) 手書き文字記録及び認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050524

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080826

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100826

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110826

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120826

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130826

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees