JP6273872B2 - Program, information processing method, information processing system, wearable device - Google Patents
Program, information processing method, information processing system, wearable device Download PDFInfo
- Publication number
- JP6273872B2 JP6273872B2 JP2014018918A JP2014018918A JP6273872B2 JP 6273872 B2 JP6273872 B2 JP 6273872B2 JP 2014018918 A JP2014018918 A JP 2014018918A JP 2014018918 A JP2014018918 A JP 2014018918A JP 6273872 B2 JP6273872 B2 JP 6273872B2
- Authority
- JP
- Japan
- Prior art keywords
- series data
- wearable sensor
- cpu
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
本発明は、プログラム、情報処理方法、情報処理システム及びウェアラブル装置に関する。 The present invention relates to a program, an information processing method, an information processing system, and a wearable device.
近年、手首または頭等に装着するウェアラブルセンサが提案されている。例えば、ユーザの手首に装着し、内部のセンサによりユーザの活動を記録するウェアラブルデバイスが知られている(例えば特許文献1参照)。 In recent years, wearable sensors to be worn on the wrist or head have been proposed. For example, a wearable device is known that is worn on a user's wrist and records user activity using an internal sensor (see, for example, Patent Document 1).
しかしながら、従来のセンサではセンサから出力される時系列データを適切にセグメントすることができなかった。 However, the conventional sensor cannot properly segment the time series data output from the sensor.
一つの側面では、本発明はセンサから出力される時系列データを適切にセグメントすることが可能なプログラム等を提供することを目的とする。 In one aspect, an object of the present invention is to provide a program or the like that can appropriately segment time-series data output from a sensor.
本願に開示するプログラムは、コンピュータに、第1ウェアラブルセンサから出力される時系列データを取得し、前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられる第2ウェアラブルセンサから出力される時系列データを取得し、前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサの第1の文字に対応する時系列データと第2の文字に対応する時系列データとをセグメントする処理を実行させる。 When the program disclosed in the present application acquires time-series data output from the first wearable sensor to the computer and is output from the second wearable sensor that is attached to the body side across the joint than the first wearable sensor. Time series data corresponding to the first character of the first wearable sensor and time series corresponding to the second character are obtained based on a change in the time series data output from the second wearable sensor. A process for segmenting data is executed.
一つの側面では、センサから出力されるデータを適切にセグメントすることが可能となる。 In one aspect, data output from the sensor can be appropriately segmented.
実施の形態1
以下実施の形態を、図面を参照して説明する。図1は情報処理システムの概要を示す説明図である。情報処理システムは、第1ウェアラブルセンサ1、第2ウェアラブルセンサ2及び情報処理装置3等を含む。第1ウェアラブルセンサ1は指輪型であり、例えば人差し指に取り付けられる。第2ウェアラブルセンサ2は、胴体から指先先端または頭部に向かう方向に関し胴体を上流とした場合に、第1ウェアラブルセンサ1の取り付け位置に対し、手首及び肘等の関節を跨いで上流側である腕に取り付けられている。第1ウェアラブルセンサ1、第2ウェアラブルセンサ2及び情報処理装置3は無線または有線で接続されている。
Hereinafter, embodiments will be described with reference to the drawings. FIG. 1 is an explanatory diagram showing an outline of an information processing system. The information processing system includes a first
情報処理装置3は、パーソナルコンピュータ、サーバコンピュータ、携帯電話、スマートフォン、PDA(Personal Digital Assistant)、サーバコンピュータ、工作機械、ディスプレイ、ブックリーダ、デジタルカメラ、またはゲーム機等である。情報処理装置3は、その他、メガネ型のウェアラブルデバイス、電子黒板、プロジェクタまたは自動車等の表示デバイスであっても良い。実施形態では情報処理装置3をコンピュータ3と読み替えて説明する。第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2は、3軸センサを有しており、3軸センサにより取得した時系列データをコンピュータ3へ送信する。コンピュータ3は第1ウェアラブルセンサ1から出力される時系列データに基づき文字認識を行う。図1の例では数字の「1」についての認識処理が行われている。
The
文字を人差し指で空間に描く場合、一の文字を描いた後、他の文字を描く場合、手首が大きく動く。図1の例では「1」の数字を描いた後に「2」の文字が描かれている。コンピュータ3は第2ウェアラブルセンサ2から出力される時系列データ(以下、第2時系列データという)を監視し、閾値以上の時系列データを取得した場合、手首が大きく動いたとして、文字と文字との間のセグメントであると判断する。コンピュータ3は第2時系列データが閾値よりも小さくなった場合、再び文字の描画が開始されたと判断する。
When drawing a character in the space with the index finger, after drawing one character, when drawing another character, the wrist moves greatly. In the example of FIG. 1, the character “2” is drawn after the number “1” is drawn. The
図1の実線で示すセグメントが文字認識用セグメントであり、点線で示すセグメントが文字非認識用セグメントである。コンピュータ3は、第1ウェアラブルセンサ1から出力される時系列データ(以下、第1時系列データという)の内、文字非認識用セグメントを除いた文字認識用セグメントの時系列データを用いて文字認識を行う。コンピュータ3は認識した文字を表示する。以下、詳細を説明する。
A segment indicated by a solid line in FIG. 1 is a character recognition segment, and a segment indicated by a dotted line is a character non-recognition segment. The
図2は第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2のハードウェア群を示すブロック図である。第1ウェアラブルセンサ1は制御部としてのCPU(Central Processing Unit)11、RAM(Random Access Memory)12、3軸センサ13及び出力部14等を含む。CPU11は、バス17を介してハードウェア各部と接続されている。CPU11はRAM12に記憶された制御プログラムに従いハードウェア各部を制御する。RAM12は例えばSRAM(Static RAM)、DRAM(Dynamic RAM)、フラッシュメモリ等である。RAM12は、記憶部としても機能し、CPU11による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
FIG. 2 is a block diagram showing a hardware group of the first
3軸センサ13は3軸加速度センサ、3軸ジャイロセンサまたはこれらを組み合わせた慣性センサである。なお、3軸磁気センサをさらに用いても良い。CPU11は、3軸センサ13は各軸の第1時系列データを、出力部14を介して第2ウェアラブルセンサ2へ出力する。なお、本実施形態では第1時系列データを第2ウェアラブルセンサ2へ出力する例を示すがこれに限るものではない。CPU11は、直接コンピュータ3へ第1時系列データを出力するようにしても良い。
The
第2ウェアラブルセンサ2は、CPU21、RAM22、3軸センサ23、通信部26及び入力部24等を含む。CPU21は、バス27を介してハードウェア各部と接続されている。CPU21はRAM22に記憶された制御プログラムに従いハードウェア各部を制御する。RAM22は例えばSRAM、DRAM、フラッシュメモリ等である。RAM22は、記憶部としても機能し、CPU21による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。入力部24は第1ウェアラブルセンサ1の出力部14から出力される第1時系列データの入力を受け付ける。なお、本実施形態では第1ウェアラブルセンサ1と第2ウェアラブルセンサ2との通信は有線で行う例を示すが無線であっても良い。
The second
通信部26はBluetooth(登録商標)、赤外線、Wi-fi(登録商標)等の通信方法によりコンピュータ3との間で無線通信を行う通信モジュールである。なお、本実施形態では第2ウェアラブルセンサ2とコンピュータ3との間の通信は無線で行う例を示すが有線であっても良い。CPU21は、3軸センサ23から出力される第2時系列データと、入力部24から受け付けた第1時系列データを、通信部26を介してコンピュータ3へ送信する。
The
図3はコンピュータ3のハードウェア群を示すブロック図である。コンピュータ3は制御部としてのCPU31、RAM32、入力部33、表示部34、記憶部35、通信部36、及び時計部38等を含む。CPU11は、バス37を介してハードウェア各部と接続されている。CPU31は記憶部35に記憶された制御プログラム35Pに従いハードウェア各部を制御する。RAM32は例えばSRAM、DRAM、フラッシュメモリ等である。RAM32は、記憶部としても機能し、CPU31による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
FIG. 3 is a block diagram showing a hardware group of the
入力部33はマウスまたはキーボード、マウスまたはタッチパネル等の入力デバイスであり、受け付けた操作情報をCPU31へ出力する。表示部34は液晶ディスプレイまたは有機EL(electroluminescence)ディスプレイ等であり、CPU31の指示に従い各種情報を表示する。通信部36は通信モジュールであり、通信網Nを介して第2ウェアラブルセンサ2または図示しない他のコンピュータとの間で情報の送受信を行う。時計部38は日時をCPU31へ出力する。記憶部35はハードディスクまたは大容量メモリであり、制御プログラム35P及びデータファイル351等を記憶している。なお、実施形態では第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2を人体に取り付ける例を示すが、犬、猫、猿またはマウス等の動物に取り付けても良い。
The
図4は入力方向を示す説明図である。実施形態においては図4に示すように鉛直方向をZ軸の負方向、Y軸正方向を、鉛直方向を指す人差し指の指紋から爪に向かう方向、X軸正方向を人差し指から小指へ向かう方向であるものとして説明する。図5は角度を示す説明図である。3軸加速度センサを用いた場合、Z軸に対しなす角度をφ、Y軸に対しなす角度をΨ、X軸に対しなす角度をθとする。3軸センサ13のX軸の出力をAx,OUT、Y軸の出力をAy,OUT、Z軸の出力をAz,OUTとした場合、θ、Ψ及びΦは以下の式1により表すことができる。
FIG. 4 is an explanatory diagram showing the input direction. In the embodiment, as shown in FIG. 4, the vertical direction is the negative direction of the Z-axis, the positive direction of the Y-axis is the direction from the fingerprint of the index finger pointing to the vertical direction, and the positive direction of the X-axis is the direction from the index finger to the little finger. It will be explained as being. FIG. 5 is an explanatory diagram showing the angle. When a triaxial acceleration sensor is used, the angle formed with respect to the Z axis is φ, the angle formed with respect to the Y axis is ψ, and the angle formed with respect to the X axis is θ. When the X-axis output of the three-
図6は描画状態を示す説明図である。実施形態では説明を容易にするために人差し指を鉛直方向に向け、手首関節を固定して人差し指にて文字を描くものとする。図6の例では球殻に文字を描く軌跡をとらえている。図7はX軸の傾斜変化を示す説明図である。サンプリング時間t間の傾斜変化Δθ=θt+1-θtをX軸の軌跡変化成分とする。同様にY軸の傾斜変化ΔΨ=Ψt+1-ΨtをY軸の軌跡変化成分とする。 FIG. 6 is an explanatory diagram showing a drawing state. In the embodiment, for ease of explanation, it is assumed that the index finger is directed in the vertical direction, the wrist joint is fixed, and the character is drawn with the index finger. In the example of FIG. 6, a trajectory for drawing a character on a spherical shell is captured. FIG. 7 is an explanatory diagram showing changes in the inclination of the X axis. The inclination change Δθ = θ t + 1 -θ t between sampling time t and the trajectory change component of the X-axis. Similarly, the Y axis inclination change ΔΨ = Ψ t + 1 −Ψ t is used as the Y axis locus change component.
図8は描画状態を示す説明図である。図8に示すように、X軸及びY軸の傾斜を平面に投射し、文字の軌跡としても良い。図9は軸方向を示す説明図、図10は軌跡を示す説明図である。3軸センサ13として、3軸ジャイロセンサを用いた場合、X軸の角速度をωx、Y軸の角速度をωy、Z軸の角速度をωzとする。同様にZ軸を鉛直方向とした場合、2次元の座標は、式2で表すことができる。
FIG. 8 is an explanatory diagram showing a drawing state. As shown in FIG. 8, the inclination of the X axis and the Y axis may be projected onto a plane to form a character trajectory. FIG. 9 is an explanatory diagram showing the axial direction, and FIG. 10 is an explanatory diagram showing the trajectory. When a triaxial gyro sensor is used as the
図11はデータファイル351のレコードレイアウトを示す説明図である。データファイル351はデータIDフィールド、時間フィールド、データフィールド及び属性フィールド等を含む。コンピュータ3のCPU31は、第1時系列データ及び第2時系列データをRAM32に記憶する。データIDフィールドには、各第1時系列データを特定するための固有の識別情報(以下、データIDという)が、時間順に記憶されている。時間フィールドには、各第1時系列データを取得した際の時間がデータIDに対応付けて記憶されている。なお時間は第1ウェアラブルセンサ1で取得するほか、コンピュータ3側で第1時系列データを受信した時間を用いても良い。
FIG. 11 is an explanatory diagram showing a record layout of the data file 351. The data file 351 includes a data ID field, a time field, a data field, an attribute field, and the like. The
データフィールドには、データIDに対応付けて3軸の時系列データがそれぞれ記憶されている。属性フィールドには、データIDに対応付けて文字または移動の属性が記憶されている。「文字」は文字認識用セグメントであることを示し、「移動」は文字非認識用セグメントであることを示す。CPU31は、第2時系列データが閾値を超えたか否かを判断する。例えば手首を右方向へ移動させる方向の軸からの3軸センサ23の出力が、記憶部35に記憶した閾値を超えるか否かを判断する。CPU31は、閾値を超えていると判断した場合、データIDに対応付けて属性フィールドに「移動」を記憶する。
In the data field, three-axis time series data is stored in association with the data ID. In the attribute field, a character or movement attribute is stored in association with the data ID. “Character” indicates a segment for character recognition, and “Move” indicates a segment for non-character recognition. The
CPU31は、閾値を超えないと判断した場合、属性フィールドに「文字」を記憶する。CPU31は、属性「文字」が連続しているセグメントを文字認識用セグメントとし、属性「移動」が連続しているセグメントを文字非認識用セグメントとする。なお、連続している数が予め定めた数(例えば2)以下の場合、エラーとして文字認識用セグメントまたは文字非認識用セグメントのいずれでもないとして、データを削除しても良い。
When the
また本実施形態では第2時系列データが閾値を超えているものに属性「移動」を付与する例を示すが、これに限るものではない。例えば、CPU31は、第2時系列データが閾値を超えた後の所定時間(例えば0.3秒)の第1時系列データまたは所定第1時系列データ数分(例えば5データ)に、属性「移動」を付与しても良い。CPU31は、属性「文字」が付与されているデータを抽出する。CPU31は、記憶部35に記憶された公知の文字認識用ソフトウェアを用いて文字認識を行う。図11の例では、データID「109」〜「135」のデータを用いて文字認識が行われる。CPU31は、認識した文字を表示部34へ表示する。なお、CPU31は、図示しないスピーカから音声により認識した文字を出力しても良い。その他、通信部36を介して、外部のコンピュータ3へ認識した文字を出力しても良い。
In this embodiment, an example in which the attribute “move” is given to the second time-series data exceeding the threshold is shown, but the present invention is not limited to this. For example, the
以上のハードウェア群において各ソフトウェア処理を、フローチャートを用いて説明する。図12はセグメント処理の手順を示すフローチャートである。CPU31は、記憶部35から閾値を読み出す(ステップS121)。CPU31は、第2時系列データをRAM32に記憶する(ステップS122)。CPU31は、第2時系列データは閾値を超えるか否かを判断する(ステップS123)。CPU31は、閾値を超えないと判断した場合(ステップS123でNO)、処理をステップS124に移行させる。
Each software process in the above hardware group will be described using a flowchart. FIG. 12 is a flowchart showing the procedure of segment processing. CPU31 reads a threshold value from the memory | storage part 35 (step S121). The
CPU31は、第1時系列データをデータID及び属性「文字」に対応付けて、データファイル351に記憶する(ステップS124)。CPU31は、閾値を超えると判断した場合(ステップS123でYES)、処理をステップS125に移行させる。CPU31は、第1時系列データをデータID及び属性「移動」に対応付けて、データファイル351に記憶する(ステップS125)。
The
CPU31は、ステップS124及びS125の後、処理をステップS126へ移行させる。CPU31は、入力部33から終了操作を受け付ける等、終了割り込み処理を受け付けたか否かを判断する(ステップS126)。CPU31は、割り込み処理を受け付けていないと判断した場合(ステップS126でNO)、処理をステップS122に戻す。CPU31は、割り込み処理を受け付けたと判断した場合(ステップS126でYES)、処理を終了する。
CPU31 makes a process transfer to step S126 after step S124 and S125. The
図13は文字認識処理の手順を示すフローチャートである。CPU31は、データファイル351を参照し、属性が「文字」から「移動」に変化したか否かを判断する(ステップS131)。CPU31は、変化していないと判断した場合(ステップS131でNO)、変化するまで待機する。CPU31は、変化したと判断した場合(ステップS131でYES)、処理をステップS132に移行させる。CPU31は、変化した時点から遡り、属性「文字」が記憶されている連続するセグメントのデータを、データファイル351から読み出す(ステップS132)。
FIG. 13 is a flowchart showing the procedure of character recognition processing. The
CPU31は、読み出したデータに基づき文字認識を行う(ステップS133)。CPU31は、認識した文字を表示部34に出力する(ステップS134)。これにより、第1時系列データを適切にセグメントすることができる。また手首の動きに注目してセグメントにより得た指先の動きを示す時系列データにより文字認識を精度良く行うことができる。
The
実施の形態2
実施の形態2は一部の処理を第2ウェアラブルセンサ2にて実行する形態に関する。実施の形態2では、時系列データのセグメント及び文字認識処理を第2ウェアラブルセンサ2が行う。図14は実施の形態2に係る第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2のハードウェア群を示すブロック図である。実施の形態1に加えて第2ウェアラブルセンサ2には、データファイル251が設けられている。なお、データファイル251に記憶されるデータ内容は実施の形態1で述べたとおりであるので詳細な説明は省略する。
The second embodiment relates to a form in which a part of processing is executed by the second
図15はセグメント処理の手順を示すフローチャートである。第2ウェアラブルセンサ2のCPU21は、第1ウェアラブルセンサ1から出力される第1時系列データを取得する(ステップS151)。CPU21は、RAM22から閾値を読み出す(ステップS152)。CPU21は、第2時系列データをRAM22に記憶する(ステップS153)。CPU21は、第2時系列データは閾値を超えるか否かを判断する(ステップS154)。CPU21は、閾値を超えないと判断した場合(ステップS154でNO)、処理をステップS155に移行させる。
FIG. 15 is a flowchart showing the procedure of segment processing. The
CPU21は、第1時系列データをデータID及び属性「文字」に対応付けて、データファイル251に記憶する(ステップS155)。CPU21は、閾値を超えると判断した場合(ステップS154でYES)、処理をステップS156に移行させる。CPU21は、第1時系列データをデータID及び属性「移動」に対応付けて、データファイル251に記憶する(ステップS156)。
The
CPU21は、ステップS155及びS156の後、処理をステップS157へ移行させる。CPU21は、図示しない第2ウェアラブルセンサ2のスイッチから終了操作を受け付ける等、終了割り込み処理を受け付けたか否かを判断する(ステップS157)。CPU21は、割り込み処理を受け付けていないと判断した場合(ステップS157でNO)、処理をステップS151に戻す。CPU21は、割り込み処理を受け付けたと判断した場合(ステップS157でYES)、処理を終了する。
CPU21 makes a process transfer to step S157 after step S155 and S156. The
図16は文字認識処理の手順を示すフローチャートである。第2ウェアラブルセンサ2のCPU21は、データファイル251を参照し、属性が「文字」から「移動」に変化したか否かを判断する(ステップS161)。CPU21は、変化していないと判断した場合(ステップS161でNO)、変化するまで待機する。CPU21は、変化したと判断した場合(ステップS161でYES)、処理をステップS162に移行させる。CPU21は、変化した時点から遡り、属性「文字」が記憶されている連続するセグメントのデータを、データファイル251から読み出す(ステップS162)。
FIG. 16 is a flowchart showing the procedure of character recognition processing. The
CPU21は、読み出したデータに基づき文字認識を行う(ステップS163)。CPU31は、認識した文字を、通信部26を介してコンピュータ3へ出力する(ステップS164)。コンピュータ3のCPU31は通信部36を介して、文字を受信する(ステップS165)。CPU31は、受信した文字を表示部34へ出力する(ステップS166)。このように、第2ウェアラブルセンサ2側において処理させることで、コンピュータ3の処理負担を軽減することが可能となる。なお、本実施形態では第2ウェアラブルセンサ2での処理例を挙げたが、逆に第1ウェアラブルセンサ1側で同様の処理を行っても良い。また、ステップS162にて文字認識用のデータを読み出した場合、読み出したデータをコンピュータ3に送信し、コンピュータ3側にて文字認識処理を実行するようにしても良い。以上述べた点は後に述べる他の実施形態においても同様である。
The
本実施の形態2は以上の如きであり、その他は実施の形態1と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The second embodiment is as described above, and the other parts are the same as those of the first embodiment. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態3
実施の形態3は第1ウェアラブルセンサ1にスイッチを設ける形態に関する。図17は実施の形態3に係る第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2のハードウェア群を示すブロック図である。図18は第1ウェアラブルセンサ1の外観を示す斜視図、図19は第1ウェアラブルセンサ1の外観を示す平面図である。図17に示すように新たにスイッチ18が設けられている。スイッチ18から入力された操作信号はCPU11へ出力される。CPU11は操作信号を、出力部14を介して第2ウェアラブルセンサ2へ出力する。第2ウェアラブルセンサ2は、通信部26を介して、操作信号をコンピュータ3へ出力する。
The third embodiment relates to a mode in which a switch is provided in the first
第1ウェアラブルセンサ1の左側面にはスイッチ18が設けられている。スイッチ18は、第1ウェアラブルセンサ1を右手人差し指に装着した場合に、右手親指側から人差し指方向(X軸正方向)に押し込むように設けられている。なお、左手人差し指に装着する場合は、反対に右側面にスイッチ18が設けられる。なお、本実施形態においては物理的に押し込むスイッチ18を例に挙げて説明するがこれに限るものではない。例えば、抵抗膜式、赤外線式、SAW(表面弾性波)式または静電式のタッチセンサを用いても良い。
A
コンピュータ3のCPU31は、最初にスイッチ18の操作信号(以下、オン信号という)を受け付けた場合、文字認識処理を開始する。CPU31は、オン信号を受け付けた後に再度操作信号(以下、オフ信号という)を受け付けた場合、文字認識処理を終了する。図20はデータファイル351のレコードレイアウトを示す説明図である。CPU31は、オン信号を受け付けていない場合、データID及びデータに対応付けて属性「オフ」を、データファイル351に記憶する。
When the
CPU31は、オン信号を受け付けた場合、セグメントすべく属性を「オフ」から「文字」に変更する。CPU31は、データID及びデータに対応付けて属性「文字」をデータファイル351に記憶する。図20の例では、データIDが「101」のから属性「文字」にセグメントされている。CPU31は、オフ信号を受け付けた場合、セグメントすべく属性を「文字」または「移動」から「オフ」に変更する。CPU31は、データID及びデータに対応付けて属性「オフ」をデータファイル351に記憶する。図20の例では、データIDが「136」から属性「オフ」にセグメントされている。
When the
図21及び図22はセグメント処理の手順を示すフローチャートである。CPU31は、第1時系列データ及び第2時系列データを取得する(ステップS211)。CPU31は、終了割り込み処理を受け付けたか否かを判断する(ステップS212)。CPU31は、終了割り込み処理を受け付けたと判断した場合(ステップS212でYES)、処理を終了する。例えば第2ウェアラブルセンサ2の電源スイッチがオフにされたことを検知した場合に、終了割り込み処理を受け付けたと判断しても良い。
21 and 22 are flowcharts showing the procedure of segment processing. CPU31 acquires the 1st time series data and the 2nd time series data (Step S211). The
CPU31は、終了割り込み処理を受け付けていないと判断した場合(ステップS212でNO)、処理をステップS213へ移行させる。CPU31は、オン信号フラグが設定されているか否かを判断する(ステップS213)。なお、オン信号フラグについては後述する。CPU31は、オン信号フラグが設定されていないと判断した場合(ステップS213でNO)、処理をステップS214へ移行させる。CPU31は、スイッチ18の操作に伴うオン信号を受け付けたか否かを判断する(ステップS214)。CPU31は、オン信号を受け付けていない場合(ステップS214でNO)、処理をステップS215へ移行させる。
If the
CPU31は、S211で取得した第1時系列データを、新たに生成したデータID及び属性「オフ」に対応付けてデータファイル351に記憶する(ステップS215)。CPU31は、その後処理をステップS211に戻す。CPU31は、オン信号を受け付けたと判断した場合(ステップS214でYES)、処理をステップS216へ移行させる。CPU31は、オン信号フラグを設定する(ステップS216)。CPU31は、その後処理をステップS211へ移行させる。
The
CPU31は、オン信号フラグが設定されていると判断した場合(ステップS213でYES)、処理をステップS217へ移行させる。CPU31は、記憶部35から閾値を読み出す(ステップS217)。CPU31は、ステップS211で取得した第2時系列データが閾値を超えるか否かを判断する(ステップS218)。CPU31は、閾値を超えないと判断した場合(ステップS218でNO)、処理をステップS219に移行させる。
If the
CPU31は、第1時系列データをデータID及び属性「文字」に対応付けて、データファイル351に記憶する(ステップS219)。CPU31は、閾値を超えると判断した場合(ステップS218でYES)、処理をステップS221に移行させる。CPU31は、第1時系列データをデータID及び属性「移動」に対応付けて、データファイル351に記憶する(ステップS221)。
The
CPU31は、スイッチ18の再操作に伴うオフ信号を受け付けたか否かを判断する(ステップS222)。CPU31は、オフ信号を受け付けていないと判断した場合(ステップS222でNO)、処理をステップS211に移行させる。CPU31は、オフ信号を受け付けたと判断した場合(ステップS222でYES)、処理をステップS223へ移行させる。CPU31は、オン信号フラグを削除する(ステップS223)。CPU31は、その後処理をステップS211に戻す。これにより文字認識処理の開始時期を明確化することが可能となる。またスイッチ18の設置方向及び押し込み方向を目印にユーザは特定した方向で、かつ、上下方向を誤ることなく人差し指に挿入することから、方向を特定した上での文字認識処理を行うことが可能となる。
The
本実施の形態3は以上の如きであり、その他は実施の形態1及び実施の形態2と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The third embodiment is as described above, and the others are the same as in the first and second embodiments. Therefore, the corresponding parts are denoted by the same reference numerals and the detailed description thereof is omitted.
実施の形態4
実施の形態4は認識した文字を取り消す形態に関する。図23は取り消し操作を示す説明図である。図23の例では文字の記載方向は右方向(X軸正方向)である。コンピュータ3は第2ウェアラブルセンサ2の時系列データにより、X軸正方向への大きな動きを検出した場合に文字と文字との間のセグメントであると認識する。ここで、認識後に白抜き矢印で示すように、記載方向である右方向と反対方向(X軸負方向)への大きな動きを検出した場合、認識した字を取り消す。図23の例では認識した「2」の数字が取り消されている。
図24は取り消し処理の手順を示すフローチャートである。CPU31は、上述した実施の形態で述べた処理により認識した文字を表示部34に出力する(ステップS241)。CPU31は、取り消し用閾値を記憶部35から読み出す(ステップS242)。CPU31は、第2時系列データを取得する(ステップS243)。CPU31は、第2時系列データは取り消し用閾値を超えるか否かを判断する(ステップS244)。つまりCPU31は、X軸負方向への手首の動きを検出したか否かを判断する。
FIG. 24 is a flowchart showing the procedure of cancellation processing. CPU31 outputs the character recognized by the process described by embodiment mentioned above to the display part 34 (step S241). The
CPU31は、超えないと判断した場合(ステップS244でNO)、処理をステップS243に戻す。CPU31は、超えると判断した場合(ステップS244でYES)、処理をステップS245へ移行させる。CPU31は、ステップS241にて表示部34に出力した文字を消去する(ステップS245)。これにより、入力または認識に誤りがあった場合も直感的に文字入力を取り消すことが可能となる。
When
本実施の形態4は以上の如きであり、その他は実施の形態1から実施の形態3と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The fourth embodiment is as described above, and the others are the same as those of the first to third embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態5
実施の形態5はX軸及びY軸の時系列データを補正する形態に関する。図25は空間に線を描画する際のイメージを示す説明図である。縦線を人差し指で上から下に引く場合、ユーザにより上述した3軸の定義に従いY軸負方向に沿って引くユーザと、時計方向に若干人差し指を回転させた上でY軸負方向に沿って引くユーザとに大別される。図25Aは前者のユーザ、図25Bは後者のユーザの描画の様子を示す。
The fifth embodiment relates to a mode for correcting time-series data of the X axis and the Y axis. FIG. 25 is an explanatory diagram showing an image when a line is drawn in space. When the vertical line is drawn from the top to the bottom with the index finger, the user draws along the Y-axis negative direction according to the above-mentioned three-axis definition, and the index finger rotates slightly in the clockwise direction along the Y-axis negative direction. It is divided roughly into the user who pulls. FIG. 25A shows the drawing of the former user, and FIG. 25B shows the drawing of the latter user.
図26はオフセット量を示す説明図である。後者の場合、図26に示すように、X軸及びY軸がΔθzオフセットする。このオフセット量は、式3で表すことができる。
FIG. 26 is an explanatory diagram showing the offset amount. In the latter case, as shown in FIG. 26, the X axis and the Y axis are offset by Δθ z . This offset amount can be expressed by
すなわちZ軸のオフセット量は、X軸の時系列データ及びY軸の時系列データに基づき求めることができる。なお、本実施形態では3軸ジャイロセンサを用いオフセット量に基づきX軸及びY軸の第1時系列データを補正する。補正後のX軸の時系列データx’、Y軸の時系列データy’は、オフセット量Δθz、X軸の時系列データx及びY軸の時系列データyを用いて、下記式4により表すことができる。
That is, the Z-axis offset amount can be obtained based on the X-axis time series data and the Y-axis time series data. In the present embodiment, the first time series data of the X axis and the Y axis are corrected based on the offset amount using a three-axis gyro sensor. The corrected X-axis time-series data x ′ and Y-axis time-series data y ′ are expressed by the
CPU31は、オン信号が入力された場合、式3に基づき、オフセット量を求める。CPU31は、オフセット量、X軸及びY軸の第1時系列データに基づき、式4から補正後のX軸及びY軸の第1時系列データを算出する。なお、本実施形態では、コンピュータ3が補正処理を行う例を示すが、第1ウェアラブルセンサ1または第2ウェアラブルセンサ2で行っても良い。
When the ON signal is input, the
図27は補正処理の手順を示すフローチャートである。CPU31は、スイッチ18の操作に伴うオン信号を受け付けたか否かを判断する(ステップS271)。CPU31は、受け付けていないと判断した場合(ステップS271でNO)、受け付けるまで待機する。CPU31は、受け付けたと判断した場合(ステップS271でYES)、処理をステップS272に移行させる。CPU31は、記憶部35から式3を読み出し、X軸の第1時系列データ及びY軸の第1時系列データに基づきZ軸のオフセット量を算出する(ステップS272)。
FIG. 27 is a flowchart showing the procedure of the correction process. CPU31 judges whether the ON signal accompanying operation of
CPU31は、記憶部35から式4を読み出し、オフセット量、X軸の第1時系列データ及びY軸の第1時系列データに基づき、補正後のX軸の第1時系列データと、補正後のY軸の第1時系列データとを算出する(ステップS273)。CPU31は、上述した文字認識処理では補正後の第1時系列データを用いる。これにより、ユーザにより描き方が相違する場合でも精度良く文字認識を行うことが可能となる。
The
本実施の形態5は以上の如きであり、その他は実施の形態1から実施の形態4と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The fifth embodiment is as described above, and the others are the same as in the first to fourth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態6
図28は実施の形態6に係る第1ウェアラブルセンサ1(ウェアラブル装置)のハードウェア群を示すブロック図である。本実施形態に記載するように、第2ウェアラブルセンサ2を用いなくても良い。実施の形態6では、スイッチ18によりセグメントを行う。なお、本実施形態ではセグメント処理及び文字認識処理を第1ウェアラブルセンサ1で行う例を示すが、これに限るものではない。セグメント処理及び文字認識処理をコンピュータ3にて実行しても良い。
FIG. 28 is a block diagram illustrating a hardware group of the first wearable sensor 1 (wearable device) according to the sixth embodiment. As described in the present embodiment, the second
CPU11は、スイッチ18が押し続けられている間は文字認識用セグメントであると判断する。またCPU11は、スイッチ18が離されている場合、文字非認識用セグメントであると判断する。図29はデータファイル151のレコードレイアウトを示す説明図である。CPU11は、第1時系列データをデータIDに対応付けてデータファイル151に記憶する。CPU11は、スイッチ18が押された場合、第1時系列データを、データID及び属性「文字」に対応付けてデータファイル151に記憶する。CPU11は、属性「文字」が連続するデータをデータID順に読み出し、文字認識を行う。
The
図30はセグメント処理の手順を示すフローチャートである。CPU11は、スイッチ18の操作に伴うオン信号を受け付けたか否かを判断する(ステップS301)。CPU11は、受け付けたと判断した場合(ステップS301でYES)、処理をステップS302に移行させる。CPU11は、第1時系列データを、データID及び属性「文字」に対応付けてデータファイル151に記憶する(ステップS302)。CPU11は、オン信号を受け付けていないと判断した場合(ステップS301でNO)、処理をステップS303へ移行させる。CPU11は、第1時系列データを、データIDに対応付けてデータファイル151に記憶する(ステップS303)。
FIG. 30 is a flowchart showing the procedure of segment processing. The
CPU11は、ステップS302、S303の後処理をステップS304へ移行させる。CPU11は、終了割り込み処理を受け付けたか否かを判断する(ステップS304)。なお、割り込み処理の有無は図示しない他の電源スイッチからの入力に基づき判断すればよい。CPU11は、終了割り込み処理を受け付けていないと判断した場合(ステップS304でNO)、処理をステップS301に戻す。CPU11は、終了割り込み処理を受け付けたと判断した場合(ステップS304でYES)、処理を終了する。なお、オン信号を受け付けた時点で上述した形態の補正処理を実行するようにしても良い。
The
図31は文字認識処理の手順を示すフローチャートである。CPU11は、データファイル151を参照し、属性が「文字」から属性なしに変化したか否かを判断する(ステップS311)。CPU11は、変化していないと判断した場合(ステップS311でNO)、変化するまで待機する。CPU11は、変化したと判断した場合(ステップS311でYES)、処理をステップS312に移行させる。CPU11は、変化した時点から遡り、属性「文字」が記憶されている連続するセグメントのデータを、データファイル151から読み出す(ステップS312)。
FIG. 31 is a flowchart showing the procedure of character recognition processing. The
CPU11は、読み出したデータに基づき文字認識を行う(ステップS313)。CPU11は、認識した文字をコンピュータ3に出力する(ステップS314)。これにより、第1時系列データを適切にセグメントすることができる。また手首の動きに注目してセグメントにより得た指先の動きを示す時系列データにより文字認識を精度良く行うことができる。
The
本実施の形態6は以上の如きであり、その他は実施の形態1から実施の形態5と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The sixth embodiment is as described above, and the other parts are the same as those of the first to fifth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態7
図32は実施の形態7に係る情報処理システムの概要を示す説明図である。第1ウェアラブルセンサ1は足に取り付けられる。第2ウェアラブルセンサ2は胴体から足指に向かう方向に関し胴体を上流とした場合に、関節を跨いで上流側の大腿に取り付けられる。本実施形態では第2ウェアラブルセンサ2からの第2時系列データが第1ウェアラブルセンサ1へ出力され、第1ウェアラブルセンサ1がセグメント処理を行う例を示す。なお、反対に第2ウェアラブルセンサ2へ第1時系列データを出力し、第2ウェアラブルセンサ2にてセグメント処理を行っても良い。その他、上述した形態の如くコンピュータ3にてセグメント処理を行っても良い。
Embodiment 7
FIG. 32 is an explanatory diagram showing an outline of the information processing system according to the seventh embodiment. The first
図33は自動車の操作状態を示す説明図である。実線はブレーキ操作を行う際、点線はアクセル操作を行う際の図を示す。CPU11は、第2時系列データが時計方向への回転動作を検出した場合、属性「アクセル」をデータファイル151に記憶する。一方第2時系列データが反時計方向への回転動作を検出した場合、属性「ブレーキ」をデータファイル151に記憶する。図34はデータファイル151のレコードレイアウトを示す説明図である。属性フィールドには、データID及びデータに対応付けて「アクセル」または「ブレーキ」が記憶されている。
FIG. 33 is an explanatory diagram showing the operation state of the automobile. A solid line indicates a diagram when the brake operation is performed, and a dotted line indicates a diagram when the accelerator operation is performed. When the second time-series data detects a clockwise rotation, the
図35及び図36はセグメント処理の手順を示すフローチャートである。CPU11は、開始信号を受け付けたか否かを判断する(ステップS351)。例えば、第1ウェアラブルセンサ1または第2ウェアラブルセンサ2に設けられた電源スイッチからの入力を参照して判断すればよい。CPU11は、開始信号を受け付けていない場合(ステップS351でNO)、受け付けるまで待機する。CPU11は、受け付けたと判断した場合(ステップS351でYES)、処理をステップS352へ移行させる。
35 and 36 are flowcharts showing the procedure of segment processing. The
CPU11は、第1時系列データをデータID及び属性「ブレーキ」に対応付けてデータファイル151に記憶する(ステップS352)。CPU11は、第2時系列データに基づき、時計方向への回転動作を検出したか否かを判断する(ステップS353)。CPU11は、回転動作を検出していないと判断した場合(ステップS353でNO)、処理をステップS354へ移行させる。CPU11は、終了割り込み処理を受け付けたか否かを判断する(ステップS354)。CPU11は、終了割り込み処理を受け付けていないと判断した場合(ステップS354でNO)、処理をステップS352に戻す。
The
CPU11は、終了割り込み処理を受け付けたと判断した場合(ステップS354でYES)、処理を終了する。CPU11は、時計方向への回転動作を検出したと判断した場合(ステップS353でYES)、処理をステップS355へ移行させる。CPU11は、第1時系列データをデータID及び属性「アクセル」に対応付けてデータファイル151に記憶する(ステップS355)。CPU11は、第2時系列データに基づき、反時計方向への回転動作を検出したか否かを判断する(ステップS356)。
If the
CPU11は、反時計方向への回転動作を検出していないと判断した場合(ステップS356でNO)、処理をステップS357へ移行させる。CPU11は、終了割り込み処理を受け付けたか否かを判断する(ステップS357)。CPU11は、終了割り込み処理を受け付けていないと判断した場合(ステップS357でNO)、処理をステップS355に戻す。
If the
CPU11は、割り込み処理を受け付けたと判断した場合(ステップS357でYES)、処理を終了する。CPU11は、反時計方向への回転動作を検出したと判断した場合(ステップS356でYES)、処理をステップS352に移行させる。これによりブレーキ及びアクセル操作のセグメントが可能となり、容易にドライバの操作履歴を取得することが可能となる。
If the
本実施の形態7は以上の如きであり、その他は実施の形態1から実施の形態6と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The seventh embodiment is as described above, and the others are the same as the first to sixth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態8
図37は第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2の取り付け例を示す説明図である。第1ウェアラブルセンサ1は手首に取り付けられる。第2ウェアラブルセンサ2は胴体から手首に向かう方向に関し胴体を上流とした場合に、関節を跨いで上流側の胸に取り付けられる。本実施形態では第2ウェアラブルセンサ2からの第2時系列データが第1ウェアラブルセンサ1へ出力され、第1ウェアラブルセンサ1がセグメント処理を行う例を示す。なお、反対に第2ウェアラブルセンサ2へ第1時系列データを出力し、第2ウェアラブルセンサ2にてセグメント処理を行っても良い。その他、上述した形態の如くコンピュータ3にてセグメント処理を行っても良い。
Embodiment 8
FIG. 37 is an explanatory diagram showing an example of attachment of the first
図38は対象を示す説明図である。「対象1」〜「対象3」は例えば作業を行う場所であり、3つに分けられている。なお、本実施形態では3つの対象を例に挙げるが、複数であればこれに限るものではない。また本実施形態では説明を容易にするために、最初は「対象1」に向かって作業するものとする。CPU11は、第1時系列データを、データID及び属性「対象1」とを対応付けて記憶する。CPU11は、第2時系列データに基づき、「対象1」から「対象2」に向かう時計回りの方向(以下、第1方向という)への移動を検出した場合、データファイル151に属性「対象2」を記憶する。
FIG. 38 is an explanatory diagram showing a target. “
図39はデータファイル151のレコードレイアウトを示す説明図である。第1時系列データはデータID及び属性に対応付けてデータファイル151に記憶される。CPU11は、第1方向検出後に、第2時系列データに基づき、「対象2」から「対象1」に向かう反時計回りの方向(以下、第2方向という)への移動を検出した場合、データファイル151に属性「対象1」を記憶する。CPU11は、属性が「対象1」である場合に、第2時系列データに基づき、「対象1」から「対象3」に向かう反時計回りの方向(以下、第3方向という)への移動を検出した場合、データファイル151に属性「対象3」を記憶する。CPU11は、第3方向検出後に、第2時系列データに基づき、「対象3」から「対象1」に向かう時計回りの方向(以下、第4方向という)への移動を検出した場合、データファイル151に属性「対象1」を記憶する。
FIG. 39 is an explanatory diagram showing a record layout of the data file 151. The first time series data is stored in the data file 151 in association with the data ID and the attribute. If the
図40及び図41はセグメント処理の手順を示すフローチャートである。CPU11は、開始信号を受け付けたか否かを判断する(ステップS401)。CPU11は、開始信号を受け付けていないと判断した場合(ステップS401でNO)、開始信号を受け付けるまで待機する。CPU11は、開始信号を受け付けたと判断した場合(ステップS401でYES)、処理をステップS402に移行させる。CPU11は、第1時系列データを、データID及び属性「対象1」に対応付けてデータファイル151に記憶する(ステップS402)。CPU11は、終了割り込み処理を受け付けたか否かを判断する(ステップS403)。CPU11は、終了割り込み処理を受け付けていないと判断した場合(ステップS403でNO)、処理をステップS404へ移行させる。
40 and 41 are flowcharts showing the procedure of segment processing. The
CPU11は、第2時系列データから第1方向を検出したか否かを判断する(ステップS404)。CPU11は、検出したと判断した場合(ステップS404でYES)、処理をステップS405に移行させる。CPU11は、第1時系列データをデータID及び属性「対象2」に対応付けてデータファイル151に記憶する(ステップS405)。CPU11は、第2時系列データから第2方向への移動を検出したか否かを判断する(ステップS406)。CPU11は、第2方向への移動を検出しない場合(ステップS406でNO)、処理をステップS405に戻す。
CPU11 judges whether the 1st direction was detected from the 2nd time series data (Step S404). If the
CPU11は、第2方向を検出したと判断した場合(ステップS406でYES)、処理をステップS402に戻す。CPU11は、第2時系列データから第1方向を検出していないと判断した場合(ステップS404でNO)、処理をステップS407へ移行させる。CPU11は、第2時系列データから第3方向を検出したか否か判断する(ステップS407)。CPU11は、第3方向を検出していないと判断した場合(ステップS407でNO)、処理をステップS402に戻す。
If the
CPU11は、第3方向を検出したと判断した場合(ステップS407でYES)、処理をステップS408に移行させる。CPU11は、第1時系列データをデータID及び属性「対象3」に対応付けて記憶する(ステップS408)。CPU11は、第2時系列データから第4方向を検出したか否かを判断する(ステップS409)。CPU11は、第4方向を検出していないと判断した場合(ステップS409でNO)、処理をステップS408に戻す。CPU11は、第4方向を検出したと判断した場合(ステップS409でYES)、処理をステップS402に戻す。CPU11は、ステップS403において終了割り込み処理を受け付けたと判断した場合(ステップS403でYES)、一連の処理を終了する。これにより、複数の対象についての第1ウェアラブルセンサ1からの時系列データを的確にセグメントすることが可能となる。
If the
本実施の形態8は以上の如きであり、その他は実施の形態1から実施の形態7と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The eighth embodiment is as described above, and the others are the same as those in the first to seventh embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態9
図42は第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2の取り付け例を示す説明図である。第2ウェアラブルセンサ2は胴体の下部である腰に取り付けられる。第1ウェアラブルセンサ1は、下流側の上腕に取り付けられている。図43はデータファイル351のレコードレイアウトを示す説明図である。本実施形態では第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2にて取得した時系列データをコンピュータ3にて処理する例を挙げて説明する。なお、第1ウェアラブルセンサ1、または、第2ウェアラブルセンサ2にて処理しても良い。
Embodiment 9
FIG. 42 is an explanatory diagram showing an example of attachment of the first
CPU31は、第2ウェアラブルセンサ2から前方向への歩行を示す時系列データが取得されたか否かを判断する。具体的には、CPU31は、水平方向の時系列データが閾値を超えるか否か判断する。CPU31は、閾値を超えていないと判断した場合、時系列データをデータID及び属性「停止」に対応付けて記憶する。CPU31は、閾値を超えた場合、ユーザは移動していると判断し時系列データをデータID及び属性「移動」に対応付けて記憶する。
The
図44はセグメント処理の手順を示すフローチャートである。CPU31は、記憶部35から閾値を読み出す(ステップS441)。CPU31は、第2時系列データをRAM32に記憶する(ステップS442)。CPU31は、第2時系列データは閾値を超えるか否かを判断する(ステップS443)。CPU31は、閾値を超えないと判断した場合(ステップS443でNO)、処理をステップS445に移行させる。
FIG. 44 is a flowchart showing the procedure of segment processing. CPU31 reads a threshold value from the memory | storage part 35 (step S441). The
CPU31は、第1時系列データをデータID及び属性「停止」に対応付けて、データファイル351に記憶する(ステップS445)。CPU31は、閾値を超えると判断した場合(ステップS443でYES)、処理をステップS444に移行させる。CPU31は、第1時系列データをデータID及び属性「移動」に対応付けて、データファイル351に記憶する(ステップS444)。
The
CPU31は、ステップS444及びS445の後、処理をステップS446へ移行させる。CPU31は、入力部33から終了操作を受け付ける等、終了割り込み処理を受け付けたか否かを判断する(ステップS446)。CPU31は、割り込み処理を受け付けていないと判断した場合(ステップS446でNO)、処理をステップS442に戻す。CPU31は、割り込み処理を受け付けたと判断した場合(ステップS446でYES)、処理を終了する。
After step S444 and S445, CPU31 shifts a process to step S446. The
その後、CPU31は、データファイル351から、属性「移動」が付与されている時系列データをデータID順に読み出す。CPU31は、読み出した時系列データのピークデータ数等を計数することにより歩数を算出する。なお歩数を算出する以外に、歩行または走行時の上腕部の動きを周波数解析等しても良い。これにより、適切に歩行数等を計測することが可能となる。すなわち、歩行せずに足踏みしているまたは作業している場合に誤って歩行していると判断する事態を回避することができる。
Thereafter, the
本実施の形態9は以上の如きであり、その他は実施の形態1から実施の形態8と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The ninth embodiment is as described above, and the other parts are the same as in the first to eighth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態10
実施の形態10は複数の第1ウェアラブルセンサ1を利用する形態に関する。図45は第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2の取り付け例を示す説明図である。第2ウェアラブルセンサ2は胴体である胸部に取り付けられている。第1ウェアラブルセンサ1は胴体よりも下流の頭部及び手首に取り付けられている。
Embodiment 10
The tenth embodiment relates to a form using a plurality of first
図46はデータファイル351のレコードレイアウトを示す説明図である。本実施形態では頭部の第1ウェアラブルセンサ1、手首の第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2にて取得した時系列データをコンピュータ3にて処理する例を挙げて説明する。なお、第1ウェアラブルセンサ1のいずれか、または、第2ウェアラブルセンサ2にて処理しても良い。また以下では頭部の第1ウェアラブルセンサ1から出力される時系列データを頭部第1時系列データといい、手首の第1ウェアラブルセンサ1から出力される時系列データを手首第1時系列データといい
FIG. 46 is an explanatory diagram showing a record layout of the data file 351. In the present embodiment, an example will be described in which time series data acquired by the first
CPU31は、第2ウェアラブルセンサ2から前方向への歩行を示す時系列データが取得されたか否かを判断する。具体的には、CPU31は、水平方向の時系列データが閾値を超えるか否か判断する。CPU31は、閾値を超えていないと判断した場合、静止していると判断し、手首時系列データをデータID及び属性「静止」に対応付けて記憶する。CPU31は、閾値を超えた場合、ユーザは歩行していると判断し、頭部時系列データをデータID及び属性「歩行」に対応付けて記憶する。
The
図47はセグメント処理の手順を示すフローチャートである。CPU31は、記憶部35から閾値を読み出す(ステップS471)。CPU31は、第2時系列データをRAM32に記憶する(ステップS472)。CPU31は、第2時系列データは閾値を超えるか否かを判断する(ステップS473)。CPU31は、閾値を超えないと判断した場合(ステップS473でNO)、処理をステップS475に移行させる。
FIG. 47 is a flowchart showing the procedure of segment processing. CPU31 reads a threshold value from storage part 35 (Step S471). The
CPU31は、手首第1時系列データをデータID及び属性「静止」に対応付けて、データファイル351に記憶する(ステップS475)。CPU31は、閾値を超えると判断した場合(ステップS473でYES)、処理をステップS474に移行させる。CPU31は、頭部第1時系列データをデータID及び属性「歩行」に対応付けて、データファイル351に記憶する(ステップS474)。
The
CPU31は、ステップS474及びS475の後、処理をステップS476へ移行させる。CPU31は、入力部33から終了操作を受け付ける等、終了割り込み処理を受け付けたか否かを判断する(ステップS476)。CPU31は、割り込み処理を受け付けていないと判断した場合(ステップS476でNO)、処理をステップS472に戻す。CPU31は、割り込み処理を受け付けたと判断した場合(ステップS476でYES)、処理を終了する。
After step S474 and S475, the
これにより第1ウェアラブルセンサ1が複数の場合でも、各第1ウェアラブルセンサ1からのデータを適切にセグメントすることが可能となる。なお、第1ウェアラブルセンサ1が3つの場合は、例えば前進の移動を第2ウェアラブルセンサ2が検出した場合は、足首に取り付けた第1ウェアラブルセンサ1の時系列データを用いる。後進の移動を第2ウェアラブルセンサ2が検出した場合は、頭部に取り付けた第1ウェアラブルセンサ1の時系列データを用いる。また、第2ウェアラブルセンサ2が前進及び後進の移動を検出しなかった場合、手首に取り付けた第1ウェアラブルセンサ1の時系列データを用いる。
Thereby, even when there are a plurality of first
図48は第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2の取り付け例を示す説明図である。第1ウェアラブルセンサ1及び第2ウェアラブルセンサ2の取り付け位置は上述した形態に限らない。第1ウェアラブルセンサ1は、耳、足の指、足首等に取り付けても良い。また第2ウェアラブルセンサ2は背中に取り付けても良い。
FIG. 48 is an explanatory diagram showing an example of attachment of the first
本実施の形態10は以上の如きであり、その他は実施の形態1から実施の形態9と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The tenth embodiment is as described above, and the others are the same as those in the first to ninth embodiments. Therefore, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
実施の形態11
図49は上述した形態の第1ウェアラブルセンサ1の動作を示す機能ブロック図である。CPU11が制御プログラムを実行することにより、第1ウェアラブルセンサ1は以下のように動作する。セグメント部490は、第2時系列データの変化に基づいて、第1時系列データをセグメントする。文字認識部491は、操作信号に基づき、時系列データの内、文字認識に用いるセグメントを参照し文字認識を行う。取得部492は、第1の軸のオフセット量を取得する。補正部493は取得したオフセット量に基づき第2の軸及び第3の時系列データを補正する。なお、上述したとおり、セグメント部490、文字認識部491、取得部492または補正部493は、設計に応じて第2ウェアラブルセンサ2またはコンピュータ3に設けても良い。
FIG. 49 is a functional block diagram showing the operation of the first
図50は実施の形態11に係るコンピュータ3のハードウェア群を示すブロック図である。コンピュータ3を動作させるためのプログラムは、ディスクドライブ等の読み取り部30AにCD-ROM、DVD(Digital Versatile Disc)ディスク、メモリーカード、またはUSB(Universal Serial Bus)メモリ等の可搬型記録媒体3Aを読み取らせて記憶部35に記憶しても良い。また当該プログラムを記憶したフラッシュメモリ等の半導体メモリ3Bをコンピュータ3内に実装しても良い。さらに、当該プログラムは、インターネット等の通信網Nを介して接続される他のサーバコンピュータ(図示せず)からダウンロードすることも可能である。以下に、その内容を説明する。
FIG. 50 is a block diagram illustrating a hardware group of the
図50に示すコンピュータ3は、上述した各種ソフトウェア処理を実行するプログラムを、可搬型記録媒体3Aまたは半導体メモリ3Bから読み取り、或いは、通信網Nを介して他のサーバコンピュータ(図示せず)からダウンロードする。当該プログラムは、制御プログラム35Pとしてインストールされ、RAM32にロードして実行される。これにより、上述したコンピュータ3として機能する。なお、上述した各種ソフトウェア処理を第1ウェアラブルセンサ1または第2ウェアラブルセンサ2で実行する場合は、本実施形態で述べたプログラムを、第1ウェアラブルセンサ1または第2ウェアラブルセンサ2にインストールすればよい。または、本実施形態で述べたプログラムが記録された半導体メモリ3Bを、第1ウェアラブルセンサ1または第2ウェアラブルセンサ2に実装すればよい。
The
本実施の形態11は以上の如きであり、その他は実施の形態1から10と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。 The eleventh embodiment is as described above, and the others are the same as those of the first to tenth embodiments. Accordingly, the corresponding parts are denoted by the same reference numerals, and detailed description thereof is omitted.
以上の実施の形態1乃至11を含む実施形態に関し、さらに以下の付記を開示する。 The following additional notes are further disclosed with respect to the embodiments including the first to eleventh embodiments.
(付記1)
コンピュータに、
第1ウェアラブルセンサから出力される時系列データを取得し、
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられる第2ウェアラブルセンサから出力される時系列データを取得し、
前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサの時系列データをセグメントする
処理を実行させるプログラム。
(Appendix 1)
On the computer,
Obtain time-series data output from the first wearable sensor,
Time series data output from a second wearable sensor attached to the body side across the joint than the first wearable sensor,
A program for executing processing for segmenting time-series data of the first wearable sensor based on a change in time-series data output from the second wearable sensor.
(付記2)
第1ウェアラブルセンサは複数の箇所に取り付けられ、
前記第2ウェアラブルから出力される時系列データの変化に基づいて、複数の第1ウェアラブルセンサから出力される時系列データの内、対象となる第1ウェアラブルセンサから出力される時系列データをセグメントする
処理を実行させる付記1に記載のプログラム。
(Appendix 2)
The first wearable sensor is attached to a plurality of locations,
Based on the change in the time-series data output from the second wearable, segment the time-series data output from the target first wearable sensor among the time-series data output from the plurality of first wearable sensors. The program according to
(付記3)
前記第1ウェアラブルセンサは指輪形状をなし、人差し指に取り付けられおり、
親指側から人差し指方向に押し込むよう設けられた第1ウェアラブルセンサのスイッチの操作信号を取得し、
前記操作信号に応じて、前記第1ウェアラブルセンサの時系列データをセグメントする
付記1または2に記載のプログラム。
(Appendix 3)
The first wearable sensor has a ring shape and is attached to an index finger;
Obtain an operation signal of the switch of the first wearable sensor provided to be pushed in from the thumb side toward the index finger,
The program according to
(付記4)
前記第1ウェアラブルセンサは3軸センサを有する指輪形状をなし、
前記第1ウェアラブルセンサの時系列データに基づき文字認識を行う
付記1から3のいずれか一つに記載のプログラム。
(Appendix 4)
The first wearable sensor has a ring shape having a three-axis sensor;
The program according to any one of
(付記5)
前記第1ウェアラブルセンサは3軸センサを有する指輪形状をなし、前記第2ウェアラブルセンサは手首に取り付けられており、
前記第2ウェアラブルセンサから出力される時系列データの変化に基づき、第1ウェアラブルセンサの時系列データに対し、文字認識用のセグメントと、文字非認識用のセグメントとに分け、前記文字認識用のセグメントを用いて文字認識を行う
付記1から4のいずれかに記載のプログラム。
(Appendix 5)
The first wearable sensor has a ring shape having a three-axis sensor, and the second wearable sensor is attached to a wrist,
Based on the change of the time series data output from the second wearable sensor, the time series data of the first wearable sensor is divided into a segment for character recognition and a segment for non-character recognition, The program according to any one of
(付記6)
前記第2ウェアラブルセンサから出力される時系列データに基づき、文字の記載方向と反対方向の動きを検出した場合に、認識した文字を取り消す
付記1から5のいずれかに記載のプログラム。
(Appendix 6)
The program according to any one of
(付記7)
前記第1ウェアラブルセンサは3軸センサを有する指輪形状をなし、
第1の軸のオフセット量を取得し、
取得したオフセット量に基づき第2の軸及び第3の時系列データを補正する
付記1から6のいずれか一つに記載のプログラム。
(Appendix 7)
The first wearable sensor has a ring shape having a three-axis sensor;
Get the offset amount of the first axis,
The program according to any one of
(付記8)
第1ウェアラブルセンサから出力される時系列データを取得し、
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられる第2ウェアラブルセンサから出力される時系列データを取得し、
前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサの時系列データをセグメントする
情報処理方法。
(Appendix 8)
Obtain time-series data output from the first wearable sensor,
Time series data output from a second wearable sensor attached to the body side across the joint than the first wearable sensor,
An information processing method for segmenting time-series data of the first wearable sensor based on a change in time-series data output from the second wearable sensor.
(付記9)
時系列データを出力する第1ウェアラブルセンサと、
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられ、時系列データを出力する第2ウェアラブルセンサと、
前記第1ウェアラブルセンサ、前記第2ウェアラブルセンサまたは他の情報処理装置に設けられ、前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサから出力された時系列データをセグメントするセグメント部と
を備える情報処理システム。
(Appendix 9)
A first wearable sensor that outputs time-series data;
A second wearable sensor that is attached to the body side across the joint than the first wearable sensor and outputs time-series data;
A time series output from the first wearable sensor based on a change in time series data provided in the first wearable sensor, the second wearable sensor, or another information processing apparatus and output from the second wearable sensor. An information processing system comprising a segment part for segmenting data.
(付記10)
人差し指に装着される指輪型のウェアラブル装置において、
文字認識用の時系列データを出力する3軸センサと、
親指側側面に設けられたスイッチと、
スイッチが操作された場合に、文字認識に用いる時系列データのセグメントを示す操作信号を出力する出力部と
を備えるウェアラブル装置。
(Appendix 10)
In a ring-type wearable device worn on the index finger,
A 3-axis sensor that outputs time-series data for character recognition;
A switch provided on the thumb side surface;
A wearable device comprising: an output unit that outputs an operation signal indicating a segment of time-series data used for character recognition when a switch is operated.
(付記11)
前記操作信号に基づき、時系列データの内、文字認識に用いるセグメントを参照し文字認識を行う文字認識部
を備える付記10に記載のウェアラブル装置。
(Appendix 11)
The wearable device according to claim 10, further comprising: a character recognition unit that performs character recognition by referring to a segment used for character recognition in the time series data based on the operation signal.
(付記12)
第1の軸のオフセット量を取得する取得部と、
取得したオフセット量に基づき第2の軸及び第3の時系列データを補正する補正部と
を備える付記10または11に記載のウェアラブル装置。
(Appendix 12)
An acquisition unit for acquiring an offset amount of the first axis;
The wearable device according to
(付記13)
前記スイッチは、親指側から人差し指方向に押し込むよう設けられている
付記10から12のいずれか一つに記載のウェアラブル装置。
(Appendix 13)
The wearable device according to any one of appendices 10 to 12, wherein the switch is provided so as to be pushed in from the thumb side toward the index finger.
1 第1ウェアラブルセンサ
2 第2ウェアラブルセンサ
3 コンピュータ
3A 可搬型記録媒体
3B 半導体メモリ
11 CPU
12 RAM
13 3軸センサ
14 出力部
18 スイッチ
21 CPU
22 RAM
23 3軸センサ
24 入力部
26 通信部
30A 読み取り部
31 CPU
32 RAM
33 入力部
34 表示部
35 記憶部
36 通信部
38 時計部
35P 制御プログラム
151 データファイル
251 データファイル
351 データファイル
490 セグメント部
491 文字認識部
492 取得部
493 補正部
N 通信網
DESCRIPTION OF
12 RAM
13 3-
22 RAM
23 3-
32 RAM
33
Claims (6)
第1ウェアラブルセンサから出力される時系列データを取得し、
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられる第2ウェアラブルセンサから出力される時系列データを取得し、
前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサの第1の文字に対応する時系列データと第2の文字に対応する時系列データとをセグメントする
処理を実行させるプログラム。 On the computer,
Obtain time-series data output from the first wearable sensor,
Time series data output from a second wearable sensor attached to the body side across the joint than the first wearable sensor,
Processing for segmenting time-series data corresponding to the first character of the first wearable sensor and time-series data corresponding to the second character based on a change in the time-series data output from the second wearable sensor A program that executes
前記第2ウェアラブルから出力される時系列データの変化に基づいて、複数の第1ウェアラブルセンサから出力される時系列データの内、対象となる第1ウェアラブルセンサから出力される時系列データをセグメントする
処理を実行させる請求項1に記載のプログラム。 The first wearable sensor is attached to a plurality of locations,
Based on the change in the time-series data output from the second wearable, segment the time-series data output from the target first wearable sensor among the time-series data output from the plurality of first wearable sensors. The program according to claim 1, wherein the program is executed.
親指側から人差し指方向に押し込むよう設けられた第1ウェアラブルセンサのスイッチの操作信号を取得し、
前記操作信号に応じて、前記第1ウェアラブルセンサの時系列データをセグメントする
請求項1または2に記載のプログラム。 The first wearable sensor has a ring shape and is attached to an index finger;
Obtain an operation signal of the switch of the first wearable sensor provided to be pushed in from the thumb side toward the index finger,
The program according to claim 1 or 2, wherein the time series data of the first wearable sensor is segmented according to the operation signal.
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられる第2ウェアラブルセンサから出力される時系列データを取得し、
前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサの第1の文字に対応する時系列データと第2の文字に対応する時系列データとをセグメントする
情報処理方法。 Obtain time-series data output from the first wearable sensor,
Time series data output from a second wearable sensor attached to the body side across the joint than the first wearable sensor,
Information for segmenting time-series data corresponding to the first character of the first wearable sensor and time-series data corresponding to the second character based on a change in the time-series data output from the second wearable sensor. Processing method.
前記第1ウェアラブルセンサよりも関節を跨いで胴体側に取り付けられ、時系列データを出力する第2ウェアラブルセンサと、
前記第1ウェアラブルセンサ、前記第2ウェアラブルセンサまたは他の情報処理装置に設けられ、前記第2ウェアラブルセンサから出力される時系列データの変化に基づいて、前記第1ウェアラブルセンサから出力された第1の文字に対応する時系列データと第2の文字に対応する時系列データとをセグメントするセグメント部と
を備える情報処理システム。 A first wearable sensor that outputs time-series data;
A second wearable sensor that is attached to the body side across the joint than the first wearable sensor and outputs time-series data;
The first wearable sensor, the second wearable sensor, or another information processing device provided in the first wearable sensor based on a change in time series data output from the second wearable sensor . An information processing system comprising: a segment unit that segments time-series data corresponding to a character and time-series data corresponding to a second character .
文字認識用の時系列データを出力する3軸センサと、
親指側側面に設けられたスイッチと、
スイッチが操作された場合に、文字認識に用いる時系列データのセグメントを示す操作信号を出力する出力部と
を備えるウェアラブル装置。 In a ring-type wearable device worn on the index finger,
A 3-axis sensor that outputs time-series data for character recognition;
A switch provided on the thumb side surface;
A wearable device comprising: an output unit that outputs an operation signal indicating a segment of time-series data used for character recognition when a switch is operated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014018918A JP6273872B2 (en) | 2014-02-03 | 2014-02-03 | Program, information processing method, information processing system, wearable device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014018918A JP6273872B2 (en) | 2014-02-03 | 2014-02-03 | Program, information processing method, information processing system, wearable device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015146132A JP2015146132A (en) | 2015-08-13 |
JP6273872B2 true JP6273872B2 (en) | 2018-02-07 |
Family
ID=53890327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014018918A Expired - Fee Related JP6273872B2 (en) | 2014-02-03 | 2014-02-03 | Program, information processing method, information processing system, wearable device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6273872B2 (en) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3450355B2 (en) * | 1992-07-07 | 2003-09-22 | 株式会社東芝 | Spatial handwritten character figure input device and method |
JP3630712B2 (en) * | 1994-02-03 | 2005-03-23 | キヤノン株式会社 | Gesture input method and apparatus |
JPH07271506A (en) * | 1994-03-30 | 1995-10-20 | Nippon Telegr & Teleph Corp <Ntt> | Writing ring |
JP2001125728A (en) * | 1999-10-28 | 2001-05-11 | Olympus Optical Co Ltd | Operation input device |
JP2001236174A (en) * | 2000-02-25 | 2001-08-31 | Fujitsu Ltd | Device for inputting handwritten character and method for recognizing handwritten character |
GB2419433A (en) * | 2004-10-20 | 2006-04-26 | Glasgow School Of Art | Automated Gesture Recognition |
JP2008203911A (en) * | 2007-02-16 | 2008-09-04 | Lenovo Singapore Pte Ltd | Pointing device and computer |
JP2011175315A (en) * | 2010-02-23 | 2011-09-08 | Ikutoku Gakuen | Character input system and method using acceleration sensor |
JP2011186693A (en) * | 2010-03-08 | 2011-09-22 | Brother Industries Ltd | Information input apparatus |
JP2013125487A (en) * | 2011-12-16 | 2013-06-24 | Konica Minolta Business Technologies Inc | Space hand-writing system and electronic pen |
-
2014
- 2014-02-03 JP JP2014018918A patent/JP6273872B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015146132A (en) | 2015-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111015653B (en) | Robot control method, device, computer readable storage medium and robot | |
US20190369715A1 (en) | Motion Predictions of Overlapping Kinematic Chains of a Skeleton Model used to Control a Computer System | |
CN107923741B (en) | Arithmetic device, arithmetic method, and nonvolatile computer-readable storage medium | |
US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
US11079860B2 (en) | Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network | |
JP2019528545A (en) | Sphere moving device and gesture recognition method thereof | |
JP6197702B2 (en) | Input method, program, and input device | |
US11531392B2 (en) | Tracking upper arm movements using sensor modules attached to the hand and forearm | |
US20210089116A1 (en) | Orientation Determination based on Both Images and Inertial Measurement Units | |
US9750452B1 (en) | Technique for determining sleeping state of user | |
JP6085375B2 (en) | Traveling direction determination device, map matching device, traveling direction determination method, and program | |
KR101941604B1 (en) | Method for estimating position of wearable devices and apparatus using the same | |
WO2020009715A2 (en) | Tracking user movements to control a skeleton model in a computer system | |
JP6273872B2 (en) | Program, information processing method, information processing system, wearable device | |
US11294510B2 (en) | Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera | |
KR102334543B1 (en) | Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality | |
WO2015107853A1 (en) | Travel direction information output device, map matching device, travel direction information output method, and program | |
US11454646B2 (en) | Initiation of calibration of multiple sensor modules related to an orientation of a user of the sensor modules | |
JP2015060543A (en) | Digital pen, and information processing system including the same | |
US10558270B2 (en) | Method for determining non-contact gesture and device for the same | |
US20200288228A1 (en) | System and earphone related to transformation of sensed data | |
WO2022269985A1 (en) | Information processing device, information processing method, and program | |
JP6909986B2 (en) | Identification device | |
US20240077958A1 (en) | Information processing device and information processing method | |
US20220415094A1 (en) | Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6273872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |